OpenAI神秘gpt2正在A/B測試，奧特曼搶先劇透，網友已玩嗨
OpenAI正在秘密A/B測試下一代模型，實力超強被懷疑是GPT-4.5或GPT-5。
就在奧特曼當謎語人暗示之后，兩款新模型悄悄上線大模型競技場。
- Im-a-good-gpt2-chatbot
- Im-also-a-good-gpt2-chatbot
和GPT-4-Turbo（左）同場競技，gpt2-chatbot（右）明顯更勝一籌。
提示詞：畫一個自由女神像。
此前一款名為gpt2-chatbot的超強模型僅僅上線一天，熱情的網友就把服務器擠爆了，不得不下架，大家紛紛表示還沒玩過。
這次重新上線后，模型在一次報錯中直接給出了跳轉OpenAI平臺網站的鏈接。
這下大家都嗨了，做實了是OpenAI在搞A/B測試？
還有人表示，這倆模型可能已經在推理和計劃方面進行微調。
現在在競技場里隨機匹配，就能遇到這倆新模型。
這不，網友們已經紛紛前去測試，一探它們的底細了。
代碼能力突出
和第一次露面有所不同，如今想要用上gpt2，只能在Arena(battle)里碰運氣，Direct Chat中找不到它們的影子。
有的人運氣好，試了5次就成功讓這倆模型battle了一局。
結合幾個示例來看，im-also-a-good-gpt2-chatbot生成的回答似乎總是更簡潔一些。
代碼生成方面，它能一次生成一個可執行的游戲代碼。
提示詞：Code Flappy Bird game in Python
效果如下：
如果回答的代碼有誤，可以進一步追問讓它自己改正。
比如讓它們寫一個康威生命游戲的代碼，在未告知使用Colab時，模型寫出的代碼有問題。
但繼續追問并表示自己用的是Colab，im-also-a-good-gpt2-chatbot能夠自己修改對代碼，im-a-good-gpt2-chatbot不行。
還有在解決物理題方面，有Reddit用戶說im-also-a-good-gpt2-chatbot能解答出其他模型都答不對的物理題。
問題：綠燈俠從一棟高樓樓頂跳下，他從靜止狀態開始做自由落體運動到地面，在他下落過程的最后1秒時，距離地面的距離是大樓一半的高度，這座樓有多高？
不過我們實測了下，im-a-good-gpt2-chatbot似乎也能做對。
還有人測試了一道推理題目，im-a-good-gpt2-chatbot可回答正確，im-also-a-good-gpt2-chatbot也能做到但需要兩次提示。
問題：現在有兩個足球隊。球隊A贏了8次，球隊B贏了5次，已知還剩7次比賽，球隊B想要贏得整場比賽，還需要至少贏幾次？
網友：白嫖大家反饋嗎？
盡管OpenAI還是沒有正式認領gpt2-chatbot，但網友幾乎已經默認它們是一家了。
因此有人覺得，gpt2-chatbot在競技場上搞A/B測試，這不是讓大家免費給他當志愿者。
OpenAI想要對內部模型進行人工評估，應該付給測試人員報酬，而不是在免費社區做。
有人覺得他們這么做，就是為了炒熱度。
但現在gpt2-chatbot的底層模型到底是啥還不確定。
有人直接問了gpt2-chatbot，但可能存在幻覺，它表示自己基于GPT-4架構，是GPT-4.5的變體。
但之前奧特曼在公開演講中已經否定了。測試網友表示自己沒有給出過GPT-4.5相關的提示內容。
也有人懷疑，這兩個模型大小不一樣，叫這個名字是不是因為采用了GPT-2的架構來訓練模型。
這和單純的MoE不同，它們使用了Q*、合成數據，Sam的推特編輯歷史是不是暗示了這一點？
值得一提的是，最近有大V爆料稱本周OpenAI將公布進軍搜索引擎的消息。
OpenAI已經更新了網站主頁，第一個輪番頁是一個搜索框上面寫著“向ChatGPT問任何事情”
爆料說這次發布的時間可能在北京時間周五的凌晨2點。
總之，最近OpenAI的動向，都有點神秘。
本文轉自 量子位 ，作者：量子位
