本文的作者為湖南師范大學(xué)的江沸菠副教授，彭于波博士，湖南工商大學(xué)的董莉副教授，英國布魯內(nèi)爾倫敦大學(xué)的王可之教授，南京大學(xué)的楊鯤教授（歐洲科學(xué)院院士），東南大學(xué)的潘存華教授、尤肖虎教授（中國科學(xué)院院士）。

多模態(tài)信號，包括文本、音頻、圖像和視頻等，可以被整合到語義通信中，在語義層面提供低延遲、高質(zhì)量的沉浸式體驗。然而，多模態(tài)語義通信面臨著數(shù)據(jù)異構(gòu)、語義歧義和信號衰落等挑戰(zhàn)。AI 大模型，尤其是多模態(tài)語言模型和大語言模型的發(fā)展，為解決這些問題提供了新思路。

基于此，由湖南師范大學(xué)、南京大學(xué)和東南大學(xué)等機構(gòu)組成的研究團隊提出了基于AI大模型的多模態(tài)語義通信（LAM-MSC）框架。

• 論文題目：Large AI Model Empowered Multimodal Semantic Communications
• 作者：江沸菠，董莉，彭于波，王可之，楊鯤，潘存華，尤肖虎
• 來源：IEEE Communications Magazine
• 論文鏈接：https://ieeexplore.ieee.org/abstract/document/10670195/

引言

人工智能和物聯(lián)網(wǎng)的融合催生了全息通信等智能應(yīng)用，推動通信系統(tǒng)向語義通信演進(jìn)。語義通信注重傳輸內(nèi)容的「含義」，能實現(xiàn)更智能的通信服務(wù)。隨著元宇宙等應(yīng)用發(fā)展，傳輸數(shù)據(jù)日益呈現(xiàn)多模態(tài)特征。

傳統(tǒng)語義通信系統(tǒng)僅能處理單一模態(tài)數(shù)據(jù)，而多模態(tài)語義通信系統(tǒng)能夠處理文本、語音、圖像、視頻等多種模態(tài)數(shù)據(jù)，減少了高開銷和低效率的問題。

圖 1 ：傳統(tǒng)的單模態(tài)語義通信系統(tǒng)與多模態(tài)語義通信系統(tǒng)。

如圖 1（a）所示，傳統(tǒng)的語義通信系統(tǒng)通常只能處理單一類型的單模態(tài)數(shù)據(jù)。因此，傳輸多模態(tài)數(shù)據(jù)時，需要使用多個單模態(tài)語義通信系統(tǒng)，可能導(dǎo)致顯著的高開銷和低效率。另一方面，圖 1（b）展示了一個多模態(tài)語義通信系統(tǒng)，通過采用統(tǒng)一的多模態(tài)語義通信模型，可以處理多種模態(tài)數(shù)據(jù)。

然而，多模態(tài)語義通信系統(tǒng)的設(shè)計面臨以下挑戰(zhàn)：

（1）數(shù)據(jù)異構(gòu)：需要處理文本、圖像、視頻等多種格式的數(shù)據(jù)，且目標(biāo)任務(wù)可能非常復(fù)雜，涉及機器翻譯、圖像識別、視頻分析等。提取語義特征時，還需解決不同模態(tài)之間的語義對齊問題。

（2）語義歧義：在不同模態(tài)之間傳輸數(shù)據(jù)時，可能會產(chǎn)生語義錯誤或誤解，同時不同的知識背景可能導(dǎo)致語義理解不一致，進(jìn)而引發(fā)歧義。

（3）信號衰落：信號在傳輸過程中可能會受到衰落和噪聲的影響，導(dǎo)致信息丟失或語義變化，從而增加個性化語義重建的復(fù)雜性。

為解決上述挑戰(zhàn)，本文提出了一種基于 AI 大模型的多模態(tài)語義通信框架，具體貢獻(xiàn)如下：

（1）統(tǒng)一的語義表示：采用基于多模態(tài)語言模型的多模態(tài)對齊技術(shù)（MMA），使用可組合擴散模型（CoDi）處理多模態(tài)數(shù)據(jù)。MMA 通過構(gòu)建共享的多模態(tài)空間，促進(jìn)交叉模態(tài)的同步生成。通過將多模態(tài)數(shù)據(jù)統(tǒng)一到文本模態(tài)，提升語義一致性和信息傳輸?shù)男省?/span>

（2）個性化語義理解：設(shè)計了基于個性化 LLM 的知識庫（LKB），利用 GPT-4 模型來理解個人信息。通過個性化提示庫對 GPT-4 進(jìn)行上下文學(xué)習(xí)，創(chuàng)建本地知識庫，提取更多相關(guān)的語義信息，從而消除語義歧義。

（3）生成式信道估計：提出使用條件生成對抗網(wǎng)絡(luò)進(jìn)行信道估計（CGE），估算衰落信道的信道增益。該方法通過專用生成器網(wǎng)絡(luò)和 leakyReLU 激活函數(shù)，捕捉信道增益的非線性特性，從而實現(xiàn)高質(zhì)量的信道增益預(yù)測。

多模態(tài)語義通信的實現(xiàn)

LAM-MSC 框架集成了 AI 大模型作為解決方案。具體來說，該框架通過以下五個關(guān)鍵步驟實現(xiàn)多模態(tài)語義通信。

圖 2 ：所提出的 LAM-MSC 框架的示意圖。

基于 MMA 的模態(tài)轉(zhuǎn)換

對于輸入的多模態(tài)數(shù)據(jù)(圖像、音頻和視頻等)，利用 MMA 將這些數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)，并保持語義對齊。

例如，如圖 3 所示，原始的傳輸數(shù)據(jù)包括一張照片，上面是發(fā)送者（假設(shè)是 Mike）和接收者（假設(shè)是 Jane）在花園里玩耍的場景。然后，原始圖像被轉(zhuǎn)換成文本描述：「A boy and a girl in a playful pose. The boy has golden hair and is wearing a brown suit with a red tie. The girl has black hair and is wearing a white dress with a black bow. The background is a garden」。

圖 3 ：所提出的 LAM-MSC 框架的數(shù)據(jù)流示例：發(fā)送者 Mike 向接收者 Jane 發(fā)送一張圖片，意圖傳達(dá)圖片的語義內(nèi)容為 「Mike and Jane are playing in a garden」。

基于 LKB 的語義提取

對轉(zhuǎn)換后的文本數(shù)據(jù)，發(fā)送者只傳輸包含其意圖的關(guān)鍵信息，省略冗余信息。整合發(fā)送者意圖和用戶信息，提取個性化語義。

如圖 3 所示，通過整合發(fā)送者的意圖、用戶信息和興趣，LKB 提取了個性化語義 「Jane and me in a playful pose. The background is a garden」。這個描述代表了發(fā)送者和接收者的身份，并表明發(fā)送者的關(guān)注重點主要是照片中的「兩個人」和背景，而不是他們的裝扮。

基于 CGE 輔助的語義通信數(shù)據(jù)傳輸

語義通信以語義編碼器為起點，從原始數(shù)據(jù)中提取有意義的元素或?qū)傩裕荚趯⒃撜Z義信息盡可能準(zhǔn)確地傳輸給接收者。然后，信道編碼器將語義編碼數(shù)據(jù)調(diào)制成適用于無線通信的復(fù)數(shù)輸入符號。為了減輕衰落信道的影響，采用 CGE 來獲取 CSI，從而將乘法噪聲轉(zhuǎn)化為加性噪聲。

這種轉(zhuǎn)換降低了信道解碼器恢復(fù)傳輸信號的復(fù)雜性。接下來，利用信道解碼器進(jìn)行信號解調(diào)，同時克服加性噪聲的影響。最后，語義解碼器執(zhí)行語義解碼，從而獲取恢復(fù)的語義（例如，「Jane and I are playfully posing. The background is a garden.」）。盡管物理信道的干擾導(dǎo)致恢復(fù)語義與原始內(nèi)容之間存在輕微差異，但總體含義保持了一致性。

基于 LKB 的語義恢復(fù)

接收者可能無法直接理解恢復(fù)的語義，因為接收到的消息的個性化是針對發(fā)送者而不是接收者的，這可能導(dǎo)致語義歧義問題。類似地，根據(jù)接收者的個性化提示詞和知識庫，采用 LKB 將解碼的語義轉(zhuǎn)換為接收者的個性化語義。

如圖 3 所示，LKB 根據(jù)接收者的用戶信息（例如，身份）調(diào)整恢復(fù)的語義。因此，恢復(fù)的語義被轉(zhuǎn)化為接收者 Jane 的個性化語義，得到文本「Mike and I are playfully posing. The background is a garden」。

基于 MMA 的模態(tài)恢復(fù)

與模態(tài)轉(zhuǎn)換類似，MMA 用于實現(xiàn)模態(tài)恢復(fù)，即將文本數(shù)據(jù)轉(zhuǎn)換回原始的模態(tài)數(shù)據(jù)。然而，需要注意的是，本文僅評估恢復(fù)的和原始的模態(tài)數(shù)據(jù)在語義層面上的一致性，而非數(shù)據(jù)細(xì)節(jié)的完全重現(xiàn)（例如可以通過角色一致性等技術(shù)生成相同角色身份的圖片，但是無法保證圖片在像素上的一致性）。

如圖 3 所示，恢復(fù)的圖像僅顯示「Mike and Jane are playing in a garden」。這是因為發(fā)送者的主要意圖在于人物和背景的語義方面，而不是關(guān)于人物裝扮的具體細(xì)節(jié)。

仿真結(jié)果

圖 4 在不同信噪比下的多模態(tài)語義通信傳輸準(zhǔn)確性。

圖 4 的消融實驗顯示，提高信噪比能提升多模態(tài)語義通信的準(zhǔn)確性。對比 LAM-MSC 和無 LKB 的 LAM-MSC 可以看出，個性化知識庫在提升語義傳輸準(zhǔn)確性上起到了積極作用。

此外，去除 CGE 的 LAM-MSC 表現(xiàn)最差，表明在所提出的語義通信系統(tǒng)中引入 CGE 的重要性。

圖 5 不同方法的對比結(jié)果。

圖 5 的對比實驗比較了 LAM-MSC 框架與專門用于圖像傳輸?shù)?DeepJSCC-V 方法和音頻傳輸?shù)?Fairseq 方法。

盡管這些方法在準(zhǔn)確性上略勝一籌，但 LAM-MSC 在壓縮率上表現(xiàn)更好，因為它能將圖像和音頻轉(zhuǎn)為文本，減少傳輸數(shù)據(jù)量。此外，LAM-MSC 能處理多模態(tài)數(shù)據(jù)，而 DeepJSCC-V 和 Fairseq 只能處理單模態(tài)數(shù)據(jù)。

更多詳情，請參閱論文原文。