5月17日 我們正處在一個越來越容易制造虛假信息的時代。深度造假（Deepfakes）、擴散模型、生成對抗網絡(GAN)以及其他AI技術被居心不良者用于偽造照片和視頻，或者創建從未發生過的事件的一些照片或視頻。

雖然AI生成的圖像和信息有許多積極的應用，但它們也可能被用于邪惡的目的。而有了無縫操縱和扭曲現實的能力，居心不良者可以利用AI欺騙公眾，傳播錯誤信息。

以下簡要探討深度造假的威脅，并介紹一些檢測AI生成信息的技巧。生成式AI這個領域正在迅速發展，所以必須尋找到新的技術和對策。

AI可以生成哪些信息？

雖然羅馬教皇穿著羽絨服、美國前總統唐納德·特朗普拒捕及烏克蘭總統澤連斯基呼吁投降等這些事件并沒有真實發生，但有關他們的圖片和視頻已經在社交媒體上流傳。

這些就是用AI系統創建的圖像和視頻。如今，有幾種深度學習技術可以制造虛假信息:

· Deepfakes：Deepfakes使用兩個深度神經網絡來學習演員和目標人物的面部特征。然后將目標的面部映射到演員的臉上。有了這樣的算法，Deepfakes已經變得更加真實以及非常有說服力。

· 擴散模型：這些是在大量圖像和字幕數據集上訓練的神經網絡。通過找到連接文本和圖像的模型，這些模型可以從文本描述中生成令人信服的圖像。DALL-E2、Midtravel和Stable Diffusion是流行的擴散模型的三個例子。

· 生成對抗網絡（GAN）：生成對抗網絡（GAN）是一種深度學習系統，可以從零開始創建逼真的圖像，例如人臉和風景。

AI生成信息的潛在危害

由Midjourney生成的美國前總統唐納德·特朗普拒捕的虛假圖像

Deepfakes已經推出幾年的時間，但在過去幾年里，這種技術取得了令人印象深刻的進展。通過與其他生成式AI技術(如語音合成器和大型語言模型)相結合，其生成的內容可能成為真正的威脅。

雖然我們仍處于可以分辨AI生成的信息的階段，但需要注意它們會如何影響公眾輿論：

· 錯誤信息的傳播：圖片和視頻在社交媒體上傳播得非常快。當事實核查人員或AI生成信息的目標做出回應時，可能已經造成了損害。特別是當Deepfakes的創造者可以將它們與逼真的AI生成的聲音結合起來時，它們會變得非常有說服力。

· 曼德拉效應：很多人都記得上世紀80年代納爾遜·曼德拉在南非監獄里去世的傳聞。實際上，他于1990年從監獄獲釋，后來成為南非總統。但是，即使事實是顯而易見的，虛假的故事已經在許多人的腦海中根深蒂固。這就是眾所周知的“曼德拉效應”，還有許多其他的真實例子。而有了Deepfakes，這樣的問題可能會更頻繁地出現。

· 社會工程：Deepfakes和生成式AI使制作令人信服的電子郵件、視頻、網站等以及進行網絡釣魚變得更加容易。居心不良者可以使用這些AI模型來創建逼真的化身，制作專業電子郵件，并創建聽起來像真人的語音信息。他們可以利用這些數據欺騙受害者泄露隱私信息，向網絡攻擊者匯款，或者實施其他有害的活動。例如，去年一家假冒的律師事務所使用生成式AI通過DMCA通知勒索受害者。

· 信任流失：Deepfakes的興起將使人們更難信任他們所看到的任何東西，判斷真假將變得越來越困難。一方面，居心不良者會試圖用生成式AI扭曲真相；而在另一方面，他們可能會否認真實的證據，并聲稱真實的文件和視頻是由AI生成的。

如何分辨出那些AI生成的信息？

雖然研究人員不斷創造新的技術和工具來檢測Deepfakes和其他AI系統生成的圖像和視頻。但這是一場貓捉老鼠的游戲，因為隨著技術的進步，原有的檢測技術就會過時。目前有一些關鍵的方法可以幫助檢測深度造假視頻、GAN人臉和擴散模型生成的圖像：

生成對抗網絡（GAN）表面具有清晰可見的偽影

· 面部失真：Deepfakes和生成對抗網絡（GAN）生成的人臉通常在面部整體上的光照不一致，還可以在細節和邊緣所在的位置找到失真的痕跡，例如發際線、眉毛、面部毛發、耳環，尤其是眼鏡的邊框。

· 眼睛和嘴唇的動作：在Deepfakes視頻中，需要特別注意面部的運動部分。其陰影是否一致? 眨眼看起來真實嗎?在人物說話時，嘴巴和牙齒看起來自然嗎?

· 照明和反射：生成式模型試圖預測場景中的照明。當然，并不是所有的預測都是正確的，所以如果仔細觀察，就會發現陰影和反射偶爾會出現故障。這些都是AI生成圖像的跡象。

· 比例：擴散模型生成的圖像通常有錯誤的比例，例如手臂、腳、前臂等部位的長度錯誤。乍一看，這些錯誤可能并不明顯，但通過仔細觀察，很快就會發現是AI生成的圖像。

· 詳細對象：當前的生成模型在合成性和詳細對象方面尤其糟糕。例如手部、建筑以及多個組成部分構成的物體。這些圖像的背景通常會包含一些明顯的錯誤。

· 來源：當然，檢測Deepfakes和AI生成的圖像的重要方法之一是驗證它們的來源。在谷歌或必應上進行反向圖片搜索，查看這張照片是否在社交媒體以外的地方出現過。查看是否有信譽良好的媒體報道了這些事件。如果是與朋友或家人有關的比較私密的圖像，在相信這一事實之前需要和他們核實。

人們需要面對生成式AI快速發展的這一現實，而開發人員則需要更加勤奮努力，并為應對其帶來的挑戰做好準備。