OpenAI神秘gpt2正在A/B測(cè)試，奧特曼搶先劇透，網(wǎng)友已玩嗨
就在奧特曼當(dāng)謎語(yǔ)人暗示之后，兩款新模型悄悄上線大模型競(jìng)技場(chǎng)。
圖片
- Im-a-good-gpt2-chatbot
- Im-also-a-good-gpt2-chatbot
和GPT-4-Turbo（左）同場(chǎng)競(jìng)技，gpt2-chatbot（右）明顯更勝一籌。
提示詞：畫(huà)一個(gè)自由女神像。
圖片
此前一款名為gpt2-chatbot的超強(qiáng)模型僅僅上線一天，熱情的網(wǎng)友就把服務(wù)器擠爆了，不得不下架，大家紛紛表示還沒(méi)玩過(guò)。
這次重新上線后，模型在一次報(bào)錯(cuò)中直接給出了跳轉(zhuǎn)OpenAI平臺(tái)網(wǎng)站的鏈接。
圖片
這下大家都嗨了，做實(shí)了是OpenAI在搞A/B測(cè)試？
圖片
還有人表示，這倆模型可能已經(jīng)在推理和計(jì)劃方面進(jìn)行微調(diào)。
圖片
現(xiàn)在在競(jìng)技場(chǎng)里隨機(jī)匹配，就能遇到這倆新模型。
這不，網(wǎng)友們已經(jīng)紛紛前去測(cè)試，一探它們的底細(xì)了。
代碼能力突出
和第一次露面有所不同，如今想要用上gpt2，只能在Arena(battle)里碰運(yùn)氣，Direct Chat中找不到它們的影子。
有的人運(yùn)氣好，試了5次就成功讓這倆模型battle了一局。
圖片
結(jié)合幾個(gè)示例來(lái)看，im-also-a-good-gpt2-chatbot生成的回答似乎總是更簡(jiǎn)潔一些。
圖片
代碼生成方面，它能一次生成一個(gè)可執(zhí)行的游戲代碼。
提示詞：Code Flappy Bird game in Python
圖片
效果如下：
圖片
如果回答的代碼有誤，可以進(jìn)一步追問(wèn)讓它自己改正。
比如讓它們寫(xiě)一個(gè)康威生命游戲的代碼，在未告知使用Colab時(shí)，模型寫(xiě)出的代碼有問(wèn)題。
但繼續(xù)追問(wèn)并表示自己用的是Colab，im-also-a-good-gpt2-chatbot能夠自己修改對(duì)代碼，im-a-good-gpt2-chatbot不行。
圖片
還有在解決物理題方面，有Reddit用戶說(shuō)im-also-a-good-gpt2-chatbot能解答出其他模型都答不對(duì)的物理題。
問(wèn)題：綠燈俠從一棟高樓樓頂跳下，他從靜止?fàn)顟B(tài)開(kāi)始做自由落體運(yùn)動(dòng)到地面，在他下落過(guò)程的最后1秒時(shí)，距離地面的距離是大樓一半的高度，這座樓有多高？
圖片
不過(guò)我們實(shí)測(cè)了下，im-a-good-gpt2-chatbot似乎也能做對(duì)。
圖片
還有人測(cè)試了一道推理題目，im-a-good-gpt2-chatbot可回答正確，im-also-a-good-gpt2-chatbot也能做到但需要兩次提示。
問(wèn)題：現(xiàn)在有兩個(gè)足球隊(duì)。球隊(duì)A贏了8次，球隊(duì)B贏了5次，已知還剩7次比賽，球隊(duì)B想要贏得整場(chǎng)比賽，還需要至少贏幾次？
圖片
網(wǎng)友：白嫖大家反饋嗎？
盡管OpenAI還是沒(méi)有正式認(rèn)領(lǐng)gpt2-chatbot，但網(wǎng)友幾乎已經(jīng)默認(rèn)它們是一家了。
因此有人覺(jué)得，gpt2-chatbot在競(jìng)技場(chǎng)上搞A/B測(cè)試，這不是讓大家免費(fèi)給他當(dāng)志愿者。
圖片
OpenAI想要對(duì)內(nèi)部模型進(jìn)行人工評(píng)估，應(yīng)該付給測(cè)試人員報(bào)酬，而不是在免費(fèi)社區(qū)做。
圖片
有人覺(jué)得他們這么做，就是為了炒熱度。
圖片
但現(xiàn)在gpt2-chatbot的底層模型到底是啥還不確定。
有人直接問(wèn)了gpt2-chatbot，但可能存在幻覺(jué)，它表示自己基于GPT-4架構(gòu)，是GPT-4.5的變體。
但之前奧特曼在公開(kāi)演講中已經(jīng)否定了。測(cè)試網(wǎng)友表示自己沒(méi)有給出過(guò)GPT-4.5相關(guān)的提示內(nèi)容。
圖片
也有人懷疑，這兩個(gè)模型大小不一樣，叫這個(gè)名字是不是因?yàn)椴捎昧薌PT-2的架構(gòu)來(lái)訓(xùn)練模型。
這和單純的MoE不同，它們使用了Q*、合成數(shù)據(jù)，Sam的推特編輯歷史是不是暗示了這一點(diǎn)？
圖片
值得一提的是，最近有大V爆料稱本周OpenAI將公布進(jìn)軍搜索引擎的消息。
圖片
OpenAI已經(jīng)更新了網(wǎng)站主頁(yè)，第一個(gè)輪番頁(yè)是一個(gè)搜索框上面寫(xiě)著“向ChatGPT問(wèn)任何事情”
圖片
爆料說(shuō)這次發(fā)布的時(shí)間可能在北京時(shí)間周五的凌晨2點(diǎn)。
總之，最近OpenAI的動(dòng)向，都有點(diǎn)神秘。
參考鏈接：
[1]https://twitter.com/itsandrewgao/status/1787758687651811705
[4]https://gizmodo.com/powerful-new-gpt2-chatbot-mysteriously-returns-1851460717
