凌晨1點，OpenAI的技術(shù)直播再次點燃了AI圈的熱情！這一次，OpenAI帶來了三款全新的語音模型，專為開發(fā)語音AI Agent而生。無論是開發(fā)者還是普通用戶，這場直播都值得你關(guān)注。

相關(guān)地址

• API地址：https://platform.openai.com/docs/guides/audio
• 展示地址：https://www.openai.fm/

三款語音模型，各有所長

OpenAI此次發(fā)布的三款語音模型分別是：GPT-4o Transcribe、GPT-4 Mini Transcribe和GPT-4o Mini TTS。它們各司其職，為語音AI Agent的開發(fā)提供了強大的技術(shù)支持。

• GPT-4o Transcribe：高性能語音轉(zhuǎn)文本模型 作為此次發(fā)布的旗艦?zāi)Ｐ停珿PT-40 Transcribe基于最新的語音模型架構(gòu)，經(jīng)過海量音頻數(shù)據(jù)的訓(xùn)練，能夠處理復(fù)雜的語音信號，并將其精準轉(zhuǎn)換為文本。它的訓(xùn)練數(shù)據(jù)涵蓋了多種語言和方言，在多語言環(huán)境下的表現(xiàn)尤為出色。無論是會議記錄、語音筆記，還是多語言翻譯，GPT-4o Transcribe都能輕松應(yīng)對。
• GPT-4 Mini Transcribe：輕量級語音轉(zhuǎn)文本模型 如果你需要在資源受限的設(shè)備上運行語音轉(zhuǎn)文本功能，GPT-4 Mini Transcribe無疑是你的首選。通過模型壓縮技術(shù)，它在保持較高轉(zhuǎn)錄性能的同時，大幅減小了模型大小，提高了運行速度并降低了資源消耗。無論是移動設(shè)備還是嵌入式系統(tǒng)，GPT-4 Mini Transcribe都能滿足實時性要求較高的應(yīng)用場景。
• GPT-4o Mini TTS：情感豐富的文本轉(zhuǎn)語音模型 這款模型不僅能夠?qū)⑽谋巨D(zhuǎn)換為自然流暢的語音，還允許開發(fā)者通過指令控制語音的語調(diào)、情感和風(fēng)格。無論是興奮、平靜、鼓勵還是嚴肅，GPT-4o Mini TTS都能根據(jù)不同的業(yè)務(wù)場景，調(diào)整語音的表達方式。例如，在教育場景中，Agent可以用鼓勵的語氣激勵學(xué)生；在客服場景中，Agent可以用溫和、耐心的語氣解答用戶問題。這種情感控制能力，讓語音交互更加人性化。

API和SDK重大更新

除了三款語音模型，OpenAI還對API和SDK進行了重大更新，為開發(fā)者提供了更強大的工具和更便捷的開發(fā)體驗。

• 語音轉(zhuǎn)文本API升級： 新增的streaming模式允許開發(fā)者將連續(xù)的音頻流實時輸入模型，并實時獲取文本響應(yīng)。這一特性在實時語音對話系統(tǒng)、語音會議轉(zhuǎn)寫等場景中尤為重要。此外，API還集成了噪聲消除技術(shù)和語義語音活動檢測器，進一步優(yōu)化了語音轉(zhuǎn)文本的體驗。即使在嘈雜的環(huán)境中，模型也能精準捕捉用戶的語音內(nèi)容。
• Agents SDK模塊化設(shè)計： 新的Agents SDK采用了模塊化設(shè)計，將語音轉(zhuǎn)文本、文本處理和文本轉(zhuǎn)語音等功能模塊化，開發(fā)者可以根據(jù)需求靈活組合這些模塊，構(gòu)建出符合特定應(yīng)用場景的語音Agent系統(tǒng)。這種設(shè)計不僅提高了開發(fā)效率，還增強了系統(tǒng)的可擴展性和可維護性。開發(fā)者只需添加少量代碼，即可實現(xiàn)語音交互功能，大大降低了開發(fā)門檻。

總結(jié)

OpenAI此次發(fā)布的三款語音模型和API、SDK更新，為語音AI Agent的開發(fā)提供了無限可能。無論是教育、客服、醫(yī)療，還是智能家居、車載系統(tǒng)，這些技術(shù)都能為用戶提供更加自然、流暢的語音交互體驗。

例如，在教育領(lǐng)域，教師可以通過語音AI Agent為學(xué)生提供個性化的學(xué)習(xí)輔導(dǎo)；在客服場景中，企業(yè)可以通過語音AI Agent為用戶提供24小時在線的智能服務(wù)；在醫(yī)療領(lǐng)域，醫(yī)生可以通過語音AI Agent快速記錄病歷，提高工作效率。

本文轉(zhuǎn)載自公眾號AI 博物院 作者：longyunfeigu

原文鏈接：??https://mp.weixin.qq.com/s/CGjkqm39VEbEhN5qogw0pA??