全球！國產AI開源端側GPT-4o海外爆火，8B參數iPad就能跑
又一個國產AI在外網被刷屏火了！
來感受一下這個feel：
圖片
這個AI，正是來自面壁智能最新的模型——MiniCPM-o 2.6。
之所以如此火爆，是因為它以僅僅8B的體量，在多模態能力上直接能跟GPT-4o掰手腕！
而且是在iPad上就能跑的那種哦（MiniCPM-o 2.6開源地址如下）~
GitHub：https://github.com/OpenBMB/MiniCPM-o
Hugging Face：https://huggingface.co/openbmb/MiniCPM-o-2_6
從眾多網友們轉發的實測體驗來看，效果也是有點意思在身上的。
例如MiniCPM-o 2.6可以直接“盲聽”聲音，就知道你在干什么：
翻書聲、咳嗽聲、倒水聲、敲門聲，聲聲精準識別。
不僅是聽覺
，在看
和說
方面，MiniCPM-o 2.6也是有兩把刷子。
例如你Pad上的MiniCPM-o 2.6，就可以“睜眼”玩兒三仙歸洞，還能記住所有牌被翻過去前的圖案：
在說方面，MiniCPM-o 2.6現在更自然了，不僅能扮演新聞主播、學生等各種角色，甚至連咖喱味的英文（印度口音）也能整出來。
當然，實時打斷也是不在話下：
網友們看罷“Awesome”聲一片，有人還直呼：
超酷的，我的iPad像有了第二個大腦。
圖片
而且不只是效果，面壁智能一道還把看、聽、說等多模態能力在各項評測榜單的成績曬了出來。
從分數上來看，僅8B的MiniCPM-o 2.6整體能力已經可以跟GPT-4o比肩，甚至在很多細分項目中實現了超越：
圖片
用面壁智能官方的話來說，MiniCPM-o 2.6已經是開源社區最強語音通用模型、最強端側視覺通用模型，以及最強實時流式多模態模型了。
那么在實際體驗過程中，它是否真的如此絲滑呢？
來一波實測
首先，我們來看下MiniCPM-o 2.6的視力水平到底如何。
在這輪測試中，我們演示了把原先“這是一張照片”這句話刪除兩個字，看看MiniCPM-o 2.6到底能不能看出來：
我剛才刪除了哪兩個字？
MiniCPM-o 2.6精準地回答出了正確答案：
你剛剛刪除了“照片”兩個字。
再來，我們給它看一段《黑神話：悟空》中的經典片段，問它剛剛那個游戲叫什么：
MiniCPM-o 2.6又答對了：
你展示的游戲是《黑神話：悟空》。
而之所以能夠做到這么精準，根據面壁智能的介紹，是因為MiniCPM-o 2.6已經做到了真·看視頻。
它并不是此前的“照片大模型”，即在用戶提問之后，AI才會開始對視頻靜態圖片抽幀，無法回答提問之前的視頻內容。
但真·看視頻的大模型就不是這樣，可以持續對實時視頻和音頻建模，這就更像人類的眼睛了。
在視覺方面，除了視頻之外，對于圖片的理解和推理，MiniCPM-o 2.6的能力也是更上一層樓。
比如讓它幫忙指導調整自行車座椅。
從找到位置，再到挑選合適工具，它都能正確get用戶意圖。
圖片
它也能化身學習搭子，幫忙解題。
圖片
當然，以上表現也基于MiniCPM-o 2.6強大的OCR（光學字符識別）能力。
官方聲稱，它可以處理任意寬高比，以及高達180萬像素的圖像（例如1344x1344）。
比如直接對準iPad，它就能識別屏幕上的內容。
圖片
在聽方面，我們剛才已經展示了很多案例，這里就不再重復測試；我們繼續深入實測一波MiniCPM-o 2.6說
的能力。
例如這樣的：
你幫我用四川話來教我一下怎么煮火鍋。
嗯，算是川味十足了。
由此可見，MiniCPM-o 2.6在交互這塊，是把看、聽、說等交互模式給拿捏住了。
那么接下來的問題是：
怎么做到的？
概括而言，面壁智能一直以來專注于面向邊端算力場景進行極致優化，更看重的是單設備服務的高效性。
換句話說，一切都是為了能在手機、iPad這樣的端側設備上更快、更好、更省的跑起來。
而MiniCPM-o 2.6采用的模型架構，顯而易見也貫徹了這一核心目標。
具體而言，之所以看聽說全能，關鍵之一在于下面這個端到端全模態架構，它能將不同類型數據（如文本、圖像、音頻）的編碼和解碼模塊通過端到端方式連接起來訓練。
這種方式使得模型不是孤立地處理每種模態，而是綜合考慮它們之間的關聯和交互，充分調動了多模態知識。
而且過程中，完全使用交叉熵（CE）損失（無輔助/中間損失函數）進行端到端訓練。
圖片
此外，為了適應流式輸入輸出（即實時、低延遲），不必像傳統那樣需要等所有數據都準備好再處理，面壁團隊又進行了兩方面動作。
一是上手改造這些離線編/解碼器模塊，將其變成更適于流式輸入/輸出的在線模塊；另一方面，針對大語言模型的基座，設計了時分復用的全模態流式信息處理機制（Omni-modality Time Division Multiplexer，OTDM）。
尤其是后者，它將同時并行輸入的多模態（如視頻流和音頻流）按照時間順序進行拆分和重組，形成一個個小的周期性時間片序列。
如此一來，在一個時間片內，可以先處理一小段視覺信息（如幾幀圖像），然后處理一小段音頻信息（如幾毫秒的音頻波形），再將它們組合起來，從而避免信息混亂。
接下來，經過OTDM處理后的多模態信息片段，繼續按照時間順序傳遞給全模態流式骨干網絡（Omni-Modality Streaming Backbone）。
作為架構的核心部分，它被用來提取不同類型數據的特征，類似關鍵幀、關鍵音頻等，然后再把它們融合起來。
過程中，大語言模型隱藏層（圖中H0）被用作語音嵌入，主要是為了最終更好地輸出語音內容。
當然這一目標也要靠最后的流式語音解碼器（Streaming Speech Decoder），它將前面接收到的信息轉化為語音形式輸出。
而且值得一提的是，面壁團隊還設置了可配置的聲音方案。
不僅設計了新的多模態系統提示，可直接通過文字or語音樣例生成或選擇聲音風格，還支持端到端聲音克隆和音色創建等高級能力。
總體來看，這一架構實現了多模態流式處理+聲音的自由選擇。也就是說，無論面對哪種數據，都能實現高效、低延遲交互，從而成為聽說看“六邊形戰士”。
事實上，從更大層面來說，作為“以小博大”的老手，本次發布的MiniCPM-o 2.6僅僅是面壁智能更大計劃的其中一環。
作為2018年脫胎于清華NLP實驗室，國內最早進行大模型研究的一批人，面壁團隊逐漸聚焦于更高效的端側模型之路。
面壁智能CEO李大海曾表示：
站在大模型時代之下，我們都在提的一個概念便是“AI原生應用”；這個時代需要的全新操作系統，就是AI原生應用+AI原生硬件。
而其中的AI原生硬件，其實很簡單，就是只要能在端側運行大模型的硬件就是原生硬件。
因此，端側的大模型就顯得格外重要。
而要想在手機、PC這樣的端側絲滑跑起來，大模型無疑要滿足兩點：要小，還要性能高效。
對此，早在2020年，他們就作為“悟道”大模型首發主力陣容發布了全球第一個20億級中文開源大模型CPM 1，并持續參與了之后的CPM 2和CPM 3。其中，4B大小的CPM 3就能和GPT-3.5掰手腕了。
可以說，這一時期的面壁團隊就已經開始解決高效問題。
后來，當走紅全網的“小鋼炮”系列出來，他們也依舊延續了這一路線——
僅2B大小的MiniCPM，在多項主流中英測評中均超越“以小博大”的標桿之作Mistral-7B，甚至還能越級比肩Llama2-13B、MPT-30B、Falcon 40B等模型。
而且價格也打下來了，1元=1700000 tokens，成本僅為Mistral-Medium百分之一。
圖片
這之后，過去一年里他們又陸續推出了一系列“以小博大”的產品。
甚至就在剛剛結束的CES（國際消費電子展）上，面壁小鋼炮MiniCPM系列也亮相了。
一個是去年9月發布的MiniCPM 3.0文本模型，雖然只有4B大小，但在代碼、數學等能力上可達到GPT-3.5水平，并且支持無限長文本。
另一個就是去年8月發布的MiniCPM-V 2.6多模態模型，僅8B大小，不過據當時官方介紹：
它不僅首次將超清OCR識圖、實時視頻理解等能力集成到端側，也首次在端側達到單圖、多圖、視頻理解等多模態核心能力全面超越GPT-4V。
而這一次的MiniCPM-o 2.6，更是加上了多模態實時語音交互能力，離人人可用的端側模型可謂更近了。
圖片
當然了，這也極大便利了視障人士友好出行。因為真實的出行環境大多是異常嘈雜的，而能夠部署在移動設備的端側模型，好處恰在于不依賴網絡就能本地運行。(就像下面這個識別紅綠燈的例子）
由于能在類似弱網斷網場景中依舊正常工作，面壁智能的端側模型擁有了更多應用場景，也適合部署在智能眼鏡等頭戴式設備上。
更重要的是，面壁智能還將這些端側模型完全開源了。
有一說一，回顧過去一年大模型的發展，國產開源力量們無疑表現亮眼。
這其中，從大眾知名度和開源情況來看，DeepSeek、阿里Qwen，以及本次提到的面壁智能，隱隱已有“中國大模型開源三劍客”之勢。
圖片
先說近的，橫空出世的DeepSeek-v3，以1/11算力訓練出超過Llama 3的開源模型，震撼了整個AI圈。
而阿里Qwen，更是隔一兩個月就會刷新一次能力邊界。
拿去年來說，6月發布的Qwen2全面超越開源標桿Llama 3，上線僅1天下載量就超過3萬次；8月發布的Qwen2-VL，多模態能力甚至超過GPT-4o等閉源模型……
再到面壁智能，其小鋼炮MiniCPM系列廣受開源社區喜愛，是2024年Hugging Face下載量最高的國產模型之一。
而且一直以來，面壁智能在開源這件事上比較活躍，很多項目也受到了社區不少好評。
圖片
目前，MiniCPM-o 2.6已在GitHub和Hugging Face開源，還有在線demo免費可玩。
體驗地址放文末了，歡迎自取~
最后，附一個面壁智能剛發的中文版測試：
在線免費體驗：
https://minicpm-omni-webdemo-us.modelbest.cn/
GitHub：
https://github.com/OpenBMB/MiniCPM-o
Hugging Face：
https://huggingface.co/openbmb/MiniCPM-o-2_6
