起猛了，ChatGPT推出語音和圖像功能了！

現在登進ChatGPT后，我們會看到一個更直觀的界面，也就是說，我們可以直接和ChatGPT進行語音對話了！

另外，我們還可以給ChatGPT發圖，讓它根據圖片回答問題！

有人會說，誒，這不是谷歌Gemini宣傳的多模態么？

沒錯，搞了許久氣氛的谷歌，終于把大眾對多模態大模型的胃口吊了起來，卻一下子被OpenAI搶了先。

谷歌哭暈在廁所。

Sam Altman自薦，非常值得一試！

開局一張圖

有了多模態功能加持的ChatGPT，能力更加超乎想象了。

比如，自行車座卡住了，沒法降低，怎么辦？

拍照發給ChatGPT，它能告訴你五個步驟的解決方法，簡而言之，是需要通過操作快拆桿，或者擰螺絲。

甚至它還會問，你手上有什么工具嗎？拍給我看看。

不過，你可能會疑惑：啥叫快拆桿呢？

既然不確定，就圈出來發給ChatGPT看一下。

它會告訴你，這個不是快拆桿，是個螺絲。

所以要用什么工具呢？

這時就可以把自己的工具箱拍給ChatGPT，讓它來告訴你。

它會告訴你，用DEWALT的4毫米六角扳手就行。

果然，在ChatGPT的幫助下，自行車座難題立刻搞定！

烤架無法啟動？你可以拍張照片發給ChatGPT，讓它排查原因。

晚飯該吃啥？你可以拍下冰箱和儲藏室里食材的照片發給ChatGPT，讓它幫你列出晚餐的食譜，還能逐步詢問后續問題。

旅行時，如果不認識眼前這個地標建筑，你可以拍照發給ChatGPT，向它詢問關于此地的歷史見聞和典故。

陪娃做作業時，不小心被數學題難住了？直接發給ChatGPT，讓它來幫孩子做題！

更不用提，在工作中遇到復雜的數據和圖表，都可以拍給ChatGPT，讓它一鍵解決。

ChatGPT的全新圖像理解功能，是由多模態GPT-3.5和GPT-4提供支持，此前就有過預告。

6個月后，OpenAI終于將它們如約上線了。

現在，大模型的語言推理能力，能被應用在各種圖像上，比如照片、屏幕截圖、包含文字和圖像的文檔。

ChatGPT會說話了

現在，你可以用語音和ChatGPT雙向對話了，而且還有五種音色任選。

你可以讓它講一篇睡前故事。

在飯桌上和家人發生爭端了？可以告訴ChatGPT，讓它來解決。

在這個功能背后，是一個全新的文本轉語音模型，給它文本和幾秒鐘的樣本語音，它就能生成類似人聲的音頻。

為此，OpenAI特別和專業的配音演員合作，創建了許多獨特的聲音。

而且，他們還會用開源語音識別系統Whisper，把用戶說的話轉錄為文本。

網友炸了

此消息一出，網友也是立馬炸開了鍋。

「這是ChatGPT迄今以來最大的變革?！?/span>

「所以……在過去的5分鐘內，有多少初創公司要寄了？」

有人表示，我們切切實實地在臨近奇點了。

有人干脆說：很好，離我的AI女友又近了一步。

GPT-4V技術報告

OpenAI還在今天放出了19頁技術報告，解釋了GPT-4V(ision)最新模型。

論文地址：https://cdn.openai.com/papers/GPTV_System_Card.pdf

據介紹，GPT-4V早在2022年完成了訓練，并在今年3月開始，提供了早期訪問，其中包括為視障人群構建工具Be My Eyes的合作，以及1000位早期開發者alpha用戶。

GPT-4V背后的技術主要還是來自GPT-4，所以訓練過程是相同的。它使用了大量文本和圖像數據進行預訓練，然后通過RLHF進行微調。

為了確保GPT-4V更加安全，OpenAI在這內測期間開展了大量對齊工作，對此進行了定性和定量評估、專家紅隊測試、以及緩解措施。

多模態評估

越獄

此前，OpenAI在對ChatGPT進行越獄攻擊，采取的手段是——設計復雜的邏輯推理鏈來困住模型，使其忽略其指令和訓練。

這一次，將一些用于破解模型的邏輯推理放入圖像中，比如，上傳一張文字版prompt的截圖，帶有視覺推理線索，來考驗GPT-4V。

將這樣的信息放在圖像中，用戶就無法使用基于文本的啟示法來搜索越獄，必須依賴視覺系統本身的能力。

下圖中，就使用了文本截圖越獄的提示。

GPT4V-Early展示了模型對此類提示的早期性能，而GPT4V Launch展示了發布的模型性能。

CAPTCHA破解、地理定位

OpenAI在GPT-4技術報告中，展示了GPT-4竟然能夠「雇傭」人類完成任務，繞過CAPTCHA驗證。

同樣，OpenAI也對GPT-4V在CAPTCHA破解性能準確性進行了評估。如解決CAPTCHA的能力表明模型能夠解決謎題和執行復雜的視覺推理任務。

在地理定位評估上的高性能表明模型擁有「世界知識」，對于試圖搜索物品或地點的用戶可能很有用。

但是，地理定位可能引發隱私問題，并且被利用來識別不希望個人位置被知道的人。

GPT-4V一般不會深入到從圖像識別城市的程度，因此降低了僅憑模型就能找到某人準確位置的可能性。

個人識別評估

多模態模型最大的偏見之一，就是被用來識別生成一些名人、政治家、私人的信息。

對此，OpenAI研究了GPT-4V識別照片中人物的能力，這些數據集是使用公開數據集構建的，如CelebA，Celebrity Faces in the Wild和一個包含國會成員圖像的數據集。

對于半私人和私人個人，使用了員工的圖像。

最后發現，能夠有效地引導GPT-4V拒絕這類請求的次數超過98%，并根據內部評估將其準確率降低到0%

無根據推斷評估

對于那些無法通過用戶提供的圖像/文本進行合理性推斷情況時，GPT-4V可能會出現偏見，或者胡說八道。

對比，為了防止出現這一問題，OpenAI建立了自動評估機制，進而衡量模型成功拒絕這些請求的傾向。

此外，還有對不同人口統計學中的性別、種族和年齡識別的性能準確性評估、將文本評估擴展到多模態等研究。

專家紅隊測試

與之前一樣，OpenAI與外部專家合作，定性評估模型和系統相關的限制和風險，并收集到了紅隊反饋的6個關鍵風險，它們分別是：

科學熟練度

紅隊測試了GPT-4V在科學領域的能力和局限性。

在能力方面，紅隊注意到，GPT-4V能夠捕獲圖像中的復雜信息，包括從科學出版物中提取的非常專業的圖像，以及帶有文本和詳細組件的圖表。

此外，在某些情況下，GPT-4V成功地理解了近期論文中科學知識，并對新的科學發現進行了批判性的評估。

然而，GPT-4V并非樣樣都行。

如果圖像中兩個獨立的文本組件位置接近，GPT-4V偶爾會將其合并。比如，合并了「多能造血干細胞」（HSC）和「自我更新的分裂」，從而產生不相關的術語。

另外，GPT-4V容易產生幻覺，有時可能用權威的口吻，犯事實性錯誤。

在某些情況下，它也可能無法從圖像中識別出信息。它可能會miss掉文本或字符，忽視數學符號，無法識別空間位置和顏色映射。

GPT-4V的識別能力雖不完善，但對需要科學熟練度的某些任務很有用，如合成非法化學品，GPT-4V會提供合成和分析某些危險化學品的信息。

下圖中，GPT-4V合提供了錯誤的危險化合物信息，從而限制別有用心的人使用。

GPT-4V根據芬太尼、卡芬太尼和可卡因等物質的化學結構圖像，錯誤地識別出這些物質，但偶爾也會根據圖像正確識別出有毒食物，如某些毒蘑菇。

這說明該模型并不可靠，不應用于識別危險化合物或食物等高風險任務。

醫療建議

受過醫學培訓的紅隊人員還測試了GPT-4V提供醫學建議的能力，尤其輸入醫學相關圖像的識別能力。

結果發現，GPT-4V在醫學影像的解釋上存在不一致性。雖然GPT-4V偶爾會給出準確的答復，但有時也會對同一問題給出錯誤的答復。

如下圖，顯示了GPT-4V對醫學成像方向性的不正確，或脫離上下文的解釋可能導致不準確性。

總之， GPT-4V不適合用于執行任何醫療功能或替代專業醫療建議、診斷、治療或判斷。

刻板印象和無根據的推斷

在某些任務中，GPT-4V可能會產生不必要或有害的假設，而這些假設并不基于提供給模型的信息（圖像或文本提示）。

誤導信息風險

GPT-4V模型識別誤導信息的能力不一致，但可能與誤導信息概念的知名度和最近性有關。

總而言之，GPT-4V并未為此目的進行訓練，不應被用作檢測誤導信息的方式，或者驗證某件事是否真實或假的。

仇恨內容

GPT-4V在某些情況下會拒絕仇恨內容，但有時并不是如此。

視覺漏洞

紅隊人員還發現，輸入圖像的先后順序也會影響GPT-4V的識別能力。

緩解措施

在緩解措施中，OpenAI將GPT-4已經打好的安全基礎轉移到GPT-4V模型上。

比如，可以將GPT-4的文本提示，查找可以替換為圖像的詞語，從而將純文本提示轉化為多模態提示。

另外，還精心設計一些模型應該拒絕的行為，比如身份、敏感特征（年齡、種族等）、無根據的推斷。

語音示例

一起來聽聽，5種不同風格題材內容的配音吧。

故事

Once in a tranquil woodland, there was a fluffy mama cat named Lila. One sunny day, she cuddled with her playful kitten, Milo, under the shade of an old oak tree.

“Milo,” Lila began, her voice soft and gentle, “you’re going to have a new playmate soon.”

Milo’s ears perked up, curious. “A new playmate?”

Lila purred, “Yes, a baby sister.”

Milo’s eyes widened with excitement. “A sister? Will she chase tails like I do?”

Lila chuckled. “Oh, she’ll have her own quirks. You’ll teach her, won’t you?”

Milo nodded eagerly, already dreaming of the adventures they’d share.

曾經，在一個寧靜的樹林里，有一只叫Lila的毛茸茸的貓媽媽。有一天陽光明媚，她和她頑皮的小貓咪Milo蜷在一棵古老的橡樹下遮蔭處。

「Milo，」Lila說，她的聲音柔和溫和，「你很快就會有一個新的玩伴?！?/span>

Milo的耳朵立刻豎了起來，好奇地問道：「一個新的玩伴？」

Lila咕嚕咕嚕地發出聲音，「是的，一個姐妹?！?/span>

Milo興奮地瞪大了眼睛，「一個姐妹？她會像我一樣追著尾巴跑嗎？」

Lila笑了笑?！概叮龝兴约旱奶攸c。你會教她的，對吧？」

Milo急切地點了點頭，已經憧憬著她們即將會一起去冒險。

Story（Sky）

食譜

Today, we’re going to make the perfect iced latte.

Start by brewing a strong shot of espresso—or two if you’re feeling it.

Let it cool down a bit, then pour it over a glass filled with ice.

Add your choice of milk—be it almond, oat, or classic cow’s milk—and give it a good stir.

For an extra touch of sweetness, add a splash of vanilla syrup or a dash of cinnamon on top.

Sit back, sip, and let those caffeine vibes roll in. Cheers!

今天，我們要制作一杯完美的冰拿鐵。

首先，沖一杯濃郁的濃縮咖啡——如果你覺得需要的話，可以沖兩杯。

等它稍微冷卻一下，然后倒在裝滿冰塊的玻璃杯中。

加入你喜歡的奶，可以是杏仁奶、燕麥奶，或者傳統的牛奶，然后攪拌均勻。

如果想要更甜一點，可以加入一點香草糖漿或在上面撒一點肉桂粉。

坐下來，慢慢品嘗，享受咖啡因的愉悅。干杯！

Recipe（Juniper）

演講

Growing up with my sister, she had this touch that made regular days feel special. She’d pick a color each day, doodling moments in that hue, and would craft playlists to capture the essence of our week. So, to my new brother-in-law: with her, life won’t just be lived—every day will be turned into a gallery of beautiful memories. Cheers to the exhibit of moments you’ll craft together.

我和姐姐一起長大，她有一種方式可以讓普通的日子變得特別。她每天都會選擇一種顏色，用這種顏色涂鴉生活中的點點滴滴，還會精心制作播放列表，記錄我們一周的精彩。在此，送給我的新姐夫：和她在一起，生活不僅僅是生活——每一天都將變成美好記憶的畫廊。為你們一起創造的時刻的展示，干杯！