高能力的AI在各種游戲中打敗人類，這些消息近年來頻頻出現。

不管是早年的國際象棋、問答比賽，還是近年的圍棋、星際爭霸、刀塔2。

在AI選手面前，人類的專業選手簡直被打到要哭。

今日，AI賽車手再次戰勝人類玩家，登上Nature封面！

索尼公司親自下場開發的AI「GT Sophy」，讓電子賽車游戲加入了上述名單：不管是日本的還是其他國家的頭挑電競選手，在GT賽車中都比不過索尼拿1000臺PS4主機訓練出的AI。

GT Sophy，或者可以親切地稱為「蘇菲」，是索尼內部的AI事業部、PDI工作室、互動娛樂子公司聯合研發的項目，耗時逾5年。

AI事業部提供深度學習算法、負責訓練模型；PDI工作室出的游戲作為AI訓練和驗證的環境；互動娛樂公司的云計算架構將千臺PS4主機串聯起來作為大規模訓練架構和平臺。

作為一種神經網絡驅動程序，GT Sophy在遵守賽車規則的同時，展現出了超凡的行駛速度、操控能力和駕駛戰術。

斯坦福大學教授Christian Gerdes在Nature的一篇文章寫道: 「在這場面對面的競爭中，AI車手如此嫻熟地超越人類玩家，代表著人工智能的一項里程碑式的成就。」

龍之徑上演「速度與激情」

這有什么厲害的？？？

說來，賽車比賽的目的很簡單，就是用更短時間超越競爭對手，你就贏了。

《速度與激情》中的硬核碰撞讓人熱血沸騰，而真正賽場上的終極對決可是需要實打實的戰術。

索尼PDI工作室在東京提供場地，請GT賽車游戲世界范圍內的一流電競選手來與「GT Sophy」及其變體比賽。

比賽節選

在GT Sophy與人類選手的第一場比賽中，選址Dragon Trail龍之徑展開精彩對決。

整條跑道全長5209米，劃分出S1，S2，S3三個區間，以及17處彎道。

比賽的始發位置是以AI、真人交錯的順序排列，共8名車手。

不過，比賽一開始，名叫薇奧拉（Violette）的GT Sophy人工智能變體就完成了對人類車手的超越，排到第二位。

AI隊友波爾多（Bordeaux）則一直保持著第一的位置。

到T2/3轉彎處，AI選手維特（Verte）嗖地一下沖到了人類選手山中智瑛前面。

比賽中途，排在第一，第二的Sophy AI在沒有阻擋情況下，選擇了最優路線。

比賽進行到最后一區S3，賽車手們需要繞過T17大彎道后就能迅速沖向終點。

比賽結果顯示，排在前三的賽車選手，GT Sophy占據兩席，只有人類選手國分涼太沖進了前三。

國分涼太一直是一個冷靜沉著的賽車手，在2019年摘得國際汽車聯合會跑車錦標賽第五輪東京國家杯冠軍，2020年FIA GT Championship國家杯第三名。

這個結果的產生，其實從資格賽中就可以看出一些端倪。

畫面右邊的AI選手在過彎時不僅更穩定，而且選擇的路線要明顯優于人類玩家。

在游戲中的馬焦雷湖賽道上另一場比賽中，四款AI擊敗了四個人類對手。

該次比賽中AI軍團中的最杰出者「GT羅格」在比賽的三個計分圈中都處于第一位置，領先最快的人類選手超過5秒。不過馬焦雷湖賽道上，也有AI車手失誤，過彎時轉向不足，一頭撞墻。

GT Sophy在2021年7月的實驗中，還只能在沒有其他車的虛擬空賽道上，跑出超過人類選手的單純競速成績。訓練到2021年10月，就可以在真正的游戲賽車環節擊敗一群人類對手了。

2020年GT賽車世界杯上的明星選手宮園拓真說：「AI的駕駛方式，我們想都想不出。」但他也承認「GT Sophy」的戰術決策很有用。

被AI擊敗的宮園拓真一臉不服

可以看到，賽車不僅僅是速度和反應時間的問題，駕駛賽車極其考驗一個人的極限戰略，因此讓機器掌握并非易事。

正如Nature一文所指出的那樣，若想實現這一目標需要戰勝極其復雜的物理挑戰，因為在賽道上馳騁需謹慎利用輪胎與地面之間「有限的摩擦力」。

比如，用摩擦力來制動，就會減少繞過拐彎的力量。

更具體地說，每個接地輪胎可以產生一個與垂直力成比例的摩擦力，或荷載。當汽車加速時，荷載轉移到后胎，前胎的摩擦力減小。

這可能會導致轉向不足，在這種情況下，方向盤不能產生更多的過彎力，會在沖出彎道時保持事實上的手剎狀態。

相反的，當汽車剎車時，負載轉移到汽車的前部。這可能會導致轉向過度，也就是說后胎會失去牽引力，汽車會激烈打轉。

再加上復雜的賽道地形，以及調整負荷轉移的復雜性與懸掛車輛，以及賽車的挑戰變得明顯。

為了贏得比賽，車手必須選擇讓賽車盡可能保持在摩擦限制范圍內的軌跡。

如果轉彎時剎車太早，你的車就會慢下來，浪費時間。剎車太晚，就不會有足夠的轉彎力來保持你想要的賽車線。再加上，剎車太用力可能會引起車體旋轉。

盡管賽車的操縱極限非常復雜，但物理學已經很好地解釋了這些極限。因此，它們可以被計算或學習也是理所當然的。

在一場面對面的比賽中，GT Sophy非但沒有利用單圈時間優勢戰勝對手，反而在最后輕而易舉超過競爭對手。

就比如，在第一比賽最后沖刺節點上，2個人類賽車手試圖阻斷2個AI賽車手的路徑。

但GT Sophy成功地找到了兩條不同的路線，最后一舉超越人類玩家沖向終點。

通過神經網絡模型訓練后，GT Sophy學會了在不同的情況下通過角落走不同的路線。

那么，這個AI超人賽車手究竟是如何煉成的呢？

AI賽車手如何煉成？

與其它規則、玩法較固定的游戲不同，GT賽車游戲的玩家戰術選項是很開放的。而且GT賽車游戲的特色在于較好地模擬了真實世界的物理定律。

所以兼具虛擬與真實世界雙重難度的GT賽車游戲，要讓AI玩好還真不容易。

首先，我們需要一個超真實的模擬器作為訓練環境。

Gran Turismo? Sport（GT Sport）是由Polyphony Digital與FIA（國際汽車聯合會）合作設計制作的PlayStation 4的駕駛模擬器。

GT Sport有明確規則和判斷標準，不用「獵豹」也能保證公平的競賽環境。（doge）

此外，GT Sport盡可能真實地再現了現實世界的賽車環境，包括其賽車、賽道，甚至空氣阻力和輪胎摩擦等物理現象。

在汽車制造商的指導下，汽車的細節被準確地再現，從車體的曲線，到車身面板之間的縫隙寬度以及轉向燈和大燈的形狀。

游戲環境有了之后，就需要對訓練環境的配置了。

DART是索尼AI為此量身定制的網絡架構，讓研究者能用互動娛樂公司的云計算游戲平臺串聯起1000臺PS4游戲主機來長時間訓練GT Sophy。

千臺PS4主機陣列，游戲宅的豪華夢想

在如此的架構上，各個異地數據中心間的所有計算資源被有效整合。研究者可以輕松確定實驗參數、設定當云資源可用時實驗自動進行、并且搜集能在瀏覽器中觀察的數據。

研究者以此平臺順暢執行了數百次模擬實驗，將AI的技戰術提高到之前未及的高度。

最后，就是對AI車手GT Sophy的訓練了。

與那些在游戲中戰勝人類的AI前輩相同，為了避免一開始將游戲行為人工編碼成復雜龐大的行為規則數據集，GT Sophy也采用深度強化學習來進行訓練。

當智能體，也就是GT Sophy在訓練環境中采取行動時，算法根據其導致的結果給予獎勵或懲罰。在得到了獎勵（或懲罰）之后，GT Sophy會更新其對世界的認知，以確定其下一步行動。

索尼人工智能研究人員和工程師開發了創新的強化學習技術，包括一種新的訓練算法QR-SAC，給AI的各種高速駕駛決策做出規則和物理限制內的合理性后果分析。并用智能體可理解的賽車規則編碼，以及獲得一種促進細微賽車技能的訓練方案。

在強化學習中，AI賽車手需要考慮其行為的長期后果，并能在學習過程中獨立收集自己的數據，避免了對復雜的手工編碼行為規則的需求。

當然，處理像Gran Turismo這樣的復雜領域，依然需要同樣復雜和細微的算法、獎勵和訓練場景。

在訓練的后期，研究人員更是加入了不同數量的對手，鍛煉GT Sophy在和人類車手對抗時的

從結果上看，索尼開發的算法可謂是效果拔群。

經過短短數個小時的訓練，GT Sophy就已經能上賽道了，而且「一兩天內」的速度比其訓練數據集中95%的駕駛員都要快。

當然，95%是遠遠不夠的。

又繼續訓練了大約45,000小時之后，GT Sophy終于在三條賽道（克羅地亞海邊龍徑賽道、意大利馬焦雷湖大獎賽道和法國薩爾特賽道）上完全戰勝人類車手。

然而，在和人類的比賽匯總，AI具有著很多先天優勢，比如完美的記憶力和快速的反應時間。

尤其是GT Sophy有著一張精確的賽道地圖，上面標注著賽道邊界的坐標，以及「關于每個輪胎載荷、每個輪胎的滑動角度和其他車輛狀態的精確信息」。

不過，依然可以對另外兩個要素進行限制：作用頻率和反應時間。

GT Sophy的輸入信號被限制在10赫茲，理論上人類的最大輸入信號為60赫茲，而這有時會讓人類車手在高速行駛時表現出「更平穩的動作」。

在反應時間方面，GT Sophy能夠在23-30毫秒內對比賽環境中的事件做出反應，這比專業運動員估計的最高反應時間200-250毫秒要快得多。為了彌補這一缺陷，研究人員增加了人為延遲，訓練GT Sophy的反應時間分別為100毫秒、200毫秒和250毫秒。

即便如此，GT Sophy還是在「所有這三項測試都達到了超人圈速。」

索尼AI事業部的負責人承認，讓AI學會文明比賽不卑不亢還蠻困難的，在面對對手時做到戰術決策既不太過暴躁又不太過謹慎，任務量還是很大的。

首先要讓AI在理解游戲環境中虛擬賽車位置、虛擬氣動模型、賽道圖形、基本駕駛動作的基礎上學會開車；然后是各種GT賽車游戲戰術，例如滑流設障、插線超車、各種阻擋卡位；最后還要讓AI學會必要的賽道禮儀規則，例如避免惡意犯規碰撞、尊重對手的車道安全等等。

賽車控制

QR-SAC算法可以明確地推理出GT Sophy高速行動的各種可能結果。對駕駛行為的后果和其中的不確定性進行核算，幫助GT蘇菲在物理極限下過彎，并在與不同種類的對手比賽時考慮復雜的可能性。　

賽車戰術

通過加入混合場景的訓練，使用人工制作的、可能在每個賽道都很關鍵的比賽情況，以及幫助智能體學習這些技能的專門對戰對手。

這些技能培養方案幫助GT Sophy獲得了專業的賽車技術，包括處理擁擠的起跑、用彈射式超車反制滑流設障，以及防御性的機動動作。

賽車禮儀

為了幫助GT Sophy學習賽道禮儀，索尼AI研究人員找到了將賽車的書面和非書面規則編碼到復雜的獎勵函數中的方法。

研究小組還發現有必要平衡對手的數量，以確保GT Sophy在訓練賽表現出程度恰好的競爭性，與人比賽時不會變得過于激進或膽小。