索尼人工智能打敗人類頂尖玩家登上《自然》封面。索尼公佈了一款由其旗下AI部門開發的人工智能技術，同時它也相應地成爲了本週《自然》的“封面人物”，索尼人工智能打敗人類頂尖玩家登上《自然》封面。
索尼人工智能打敗人類頂尖玩家登上《自然》封面1
還記得前幾天索尼預告即將公佈的重要AI消息嗎？最近，索尼正式宣佈，其研究人員已經開發出了一款名爲“GT Sophy”的AI車手，可以擊敗人類頂尖的車手獲得冠軍。
據悉，索尼對於“GT Sophy”使用了異種稱爲強化學習的方法進行訓練。其本質就是不斷的試錯，將AI扔進一個沒有指令的環境中，達到目標即可獲得獎勵。
索尼的研究人員表示，它們必須謹慎地設計獎勵，譬如微調碰撞懲罰，調整各種目標地優先級，從而保證AI地駕駛風格足夠激進，但又不只是在路上欺負對手。
在強化學習的幫助下，AI只需要幾小時的訓練，就已經適應了賽道飆車。並且在一兩天內做到了訓練數據快過95%的車手。經過45000小時的總訓練，目前AI已經在索尼PS5的《GT賽車》遊戲中取得了驚人的成績，擊敗頂級人類車手已不是問題。
索尼用AI對三位頂級電子競技車手進行了測試，沒有一個人能夠在計時賽中擊敗AI。而他們也從AI競賽中學到了新戰術，學習AI的路線，掌握更好的入彎時間點。
索尼目前表示，他們正在努力將GT Sophy整合到未來的《GT賽車》遊戲中，不過尚沒有提供任何具體的時間表。
再結合之前索尼造車的各種消息，這款AI沒準還能用在現實世界汽車的自動駕駛技術上，前景可謂十分樂觀。
索尼人工智能打敗人類頂尖玩家登上《自然》封面2
“我們追求人工智能，是爲了最終更好地瞭解人類。”
作爲這個世代中爲數不多的擬真賽車遊戲，《GT賽車Sport》的玩家們可能從來沒有想過，自己玩的遊戲，有天會登上世界頂級科學期刊《自然》（Nature）的封面。
在昨天，索尼公佈了一款由其旗下AI部門開發的人工智能技術，同時它也相應地成爲了本週《自然》的“封面人物”，而這個人工智能的成就，是在《GT賽車Sport》中擊敗了全球一流賽車遊戲選手們。
Nautre第7896期封面
或者，用“征服”這個詞來形容更爲合適。在索尼演示的四位AI車手與四名職業賽車玩家的對決中，冠軍AI的最高圈速比人類中的最優者快了兩秒有餘。對一條3.5英里長度的賽道而言，這個優勢一如AlphaGo征服圍棋。
在近五年的研發時間裏，這個由索尼AI部門、SIE還有PDI工作室（也就是《GT賽車》開發商）共同研發的AI完成了這個目標。
索尼爲這個AI起名爲GT Sophy。“索菲”是個常見的人名，源自希臘語σοφ α，意爲“知識與智慧”。
Sophy和一般的遊戲AI有什麼區別？
AI在遊戲中打敗人類，並不是一件稀奇事。OpenAI在“冥想訓練”了成千上萬場DOTA2後擊敗過當時的Ti8冠軍OG，谷歌的AlphaStar也曾面對《星際爭霸2》的頂級職業選手時表現過碾壓態勢，而我們每個普通玩家，也都嘗過“電腦[瘋狂的]”的苦頭。
2019年，OpenAI曾經在僅開放部分英雄選用的限制條件下擊敗過OG
但這些“打敗”並非一回事。要明白GTS中的AI車手Sophy意味着什麼，首先要明確Sophy和其一個單純“你跑不過的AI”有什麼區別。
對過往賽車遊戲裏的AI而言，儘管呈現形式都是遊戲中非玩家控制的“智能體”，但傳統意義上的AI車手通常只是一套預設的行爲腳本，並不具備真正意義上的智能。
傳統AI的難度設計一般也是依賴“非公平”的方式達成的，比如在賽車遊戲中，系統會盡可能削弱甚至消除AI車的物理模擬，讓AI車需要處理的環境參數遠比玩家簡單。
而要塑造更難以擊敗的AI敵人，也不過是像RTS遊戲中的AI通過暗中作弊的方式偷經濟暴兵一樣，讓AI車在不被注意的時刻悄悄加速。
所以對於具備一定水平的玩家而言，賽車遊戲裏的傳統AI在行爲邏輯和策略選擇上幾乎沒有值得參考的點，遑論職業賽車遊戲選手。
而Sophy則是和AlphaGo一樣，通過深度學習算法，逐漸在模擬人類的行爲過程中達到變強：學會開車，適應規則，戰勝對手。
這種AI帶給玩家的，完全是“在公平競爭中被擊敗”的體驗。在被Sophy擊敗後，一位人類車手給出了這樣的評價：“（Sophy）當然很快，但我更覺得這個AI有點超乎了機器的範疇……它像是具備人性，還做出了一些人類玩家從未見過的行爲。”
這難免再次讓人聯想到重新改寫了人類對圍棋理解的AlphaGo。
相對於圍棋這種信息透明的高度抽象遊戲，玩法維度更多、計算複雜度更高的電子遊戲，在加入深度學習AI之後，其實一直很難確保“公平競技”的概念。
例如在2019年征戰《星際爭霸2》的AlphaStar，基本沒有生產出新的戰術創意，只是通過無限學習人類選手的戰術，再通過精密的多線操作達成勝利——即便人爲限制了AlphaStar的APM，AI完全沒有無效操作的高效率也並非人類可比。
這也是爲什麼在AlphaStar與人類職業選手的對抗記錄裏，當AI用“三線閃追獵”這樣的神仙表演擊敗波蘭星靈選手MaNa後，並不服氣的MaNa在賽後採訪中說出了“這種情況在同水平的人類對局中不可能出現”這樣的話。
AlphaStar用追獵者“逆剋制關係”對抗MaNa的不朽者部隊
同樣，《GT賽車》也是一款與《星際爭霸2》具備同樣複雜度的擬真賽車遊戲。
在專業賽車玩家的眼中，路線、速度、方向，這些最基本的賽車運動要素都可以拆解爲無數細小的反應和感受，車輛的重量、輪胎的滑移、路感的反饋……每條彎道的每次過彎，都可能存在一個絕佳的油門開度，只有最頂級的車手可以觸摸到那一縷“掌控”的感覺。
在某種意義上來講，這些“操縱的極限”當然能夠被物理學解釋，AI能掌握的範圍顯然要大於人類。所以，Sophy的反應速度被限制在人類的同一水平，索尼爲它分別設置了100毫秒、200毫秒和250毫秒的反應時間——而人類運動員在經過練習後對特定刺激的反應速度可以做到150毫秒左右。
無疑，這是一場比AlphaStar更公平的戰鬥。
Sophy學會了什麼
和Sophy爲數衆多的AI前輩一樣，它也是利用神經網絡等深度學習算法來進行駕駛技巧的訓練。
Sophy在訓練環境中會因爲不同的行爲遭受相應獎勵或者懲罰——高速前進是好的，超越前車則更好；相應地，出界或者過彎時候撞牆就是“壞行爲”，AI會收穫負反饋。
在上千臺串聯起的PS4組成的矩陣中，Sophy經受了無數次模擬駕駛訓練，在上述學習裏更新自己對《GT賽車Sport》的認知。從一個不會駕駛的“嬰兒”到開上賽道，Sophy花費了數個小時的時間；一兩天後，從基礎的“外內外”行車線開始，Sophy已經幾乎學會了所有常見的賽車運動技巧，超越了95%的人類玩家。
索尼AI部門爲Sophy搭建的“訓練場”
然而，賽車並不是一個人的遊戲。即便Sophy在去年7月份的比賽中，已經可以沒有其他賽車的情況下擁有超出頂級人類選手的計時賽成績，但在真實的多人遊戲中，Sophy還需要學會與對手進行對抗上的博弈，理解其他車手的行爲邏輯。
因此，索尼AI部門的科研人員對Sophy進行了更多的“加練”，比如面對其他車時如何插線超車、阻擋卡位。到最後，Sophy甚至還被“教育”到能夠理解和遵守賽車運動中的比賽禮儀——比如作爲慢車時進行讓車，同時避免不禮貌的惡意碰撞。
賽車遊戲中的AI車，一般即便會嘗試躲避與玩家擦碰，其實現方式也只是不自然地閃躲。而Sophy呈現出的“比賽理解”，都是依靠腳本運行的傳統賽車AI無法做到的。
到了10月，Sophy已經可以在正式的同場比賽中擊敗最頂級的人類選手。
索尼邀請的四位人類車手，其中包括GT錦標賽三冠王宮園拓真
比如第一場在Dragon Trail（龍之徑）上進行的比賽。作爲《GT賽車Sport》的駕駛學校尾關，每個GTS玩家應該都相當熟悉這條賽道（以及DLC中的“漢密爾頓挑戰”）。在數萬個小時的訓練過後，排名第一的Sophy車手已經可以踩着絕對的最優路線保持全程第一。
而在四個Sophy與四位人類車手角逐的第二個比賽日中，AI們的優勢進一步擴大了——幾乎達成了對頂級人類玩家的碾壓。
如果只是在路線的選擇和判斷上強過人類，用更穩定的過彎來積累圈速優勢，這可能還沒什麼大不了的。
但研究者們認爲，Sophy幾乎沒有利用在用圈速上的絕對優勢來甩開對手（也就是AI身爲非人類在“硬實力”上更強的部分），反而在對比賽的理解上也超過了人類玩家，比如預判對手路線的情況下進行相應的對抗。
在《自然》論文所舉的案例中，兩名人類車手試圖通過合法阻擋來干擾兩個Sophy的首選路線，然而Sophy成功找到了兩條不同的軌跡實現了超越，使得人類的阻擋策略無疾而終，Sophy甚至還能想出有效的方式來擾亂後方車輛的超車意圖。
Sophy還被證明能夠在模擬的薩爾特賽道（也就是著名的“勒芒賽道”）上執行一個經典的高水平動作：快速駛出前車的尾部，增加對前車的阻力，進而超越對手。
更令研究者稱奇的是，Sophy還搗鼓出了一些非常規的行爲邏輯，聽上去就像AlphaGo用出新的定勢一樣。通常，賽車手接受的教育都是在過彎時“慢進快出”，負載只在兩個前輪上。但Sophy並不一定會這麼做，它會在轉彎時選擇性制動，讓其中一個後輪也承受負載。
而在現實中，只有最頂級的'F1車手，比如漢密爾頓和維斯塔潘，正在嘗試使用這種三個輪胎快速進出的技術——但Sophy則完全是在遊戲世界中自主學會的。
曾經取得三次GT錦標賽世界冠軍的車手宮園拓真在與AI的對抗中落敗後說，“Sophy採取了一些人類駕駛員永遠不會想到的賽車路線……我認爲很多關於駕駛技巧的教科書都會被改寫。”
“爲了更好地瞭解人類”
區別於以往出現在電子遊戲中的先進AI們（比如AlphaStar），Sophy的研究顯然具備更廣義、更直接的現實意義。
參與《自然》上這篇論文撰寫的斯坦福大學教授stian Gerdes就指出，Sophy的成功說明神經網絡在自動駕駛軟件中的作用可能比現在更大，在未來，這個基於《GT賽車》而生的AI想染會在自動駕駛領域提供更多的幫助。
索尼AI部門的CEO北野宏明也在聲明中表示，這項AI研究會給高速運作機器人的研發以及自律型駕駛技術帶來更多的新機會。
Sophy項目官網的介紹
但如果我們將目光挪回作爲擬真賽車遊戲的《GT賽車》本身，Sophy的出現，對大衆玩家和職業車手而言同樣具備不菲的意義。
正如文章前面所說，在目前市面上大多數擬真賽車遊戲中，“傳統AI”已經是一個完全不能帶給玩家任何樂趣的事物。這種依賴不公平條件達成的人機對抗，與賽車遊戲開發者希望帶給玩家的駕駛體驗是相悖的，人類玩家也無法從中獲得任何教益。
在索尼AI部門發佈的紀錄片中，“GT賽車之父”山內一典就表示，開發無與倫比的AI可能是一項了不起的技術成就，但這對普通玩家來說可能不是什麼直白的樂趣。
因此，山內承諾在未來的某個時候，索尼會將Sophy帶入到三月份即將發售的《GT賽車7》中。當Sophy能夠更加了解賽場上的環境和條件，判斷其他車手的水平，一個這樣智能又具備風度的AI，就能夠在與人類比賽時，爲玩家提供更多真實的快樂。
在擬真賽車遊戲逐漸“小圈子化”，衆多廠商都做不好面對純新玩家的入門體驗的今天，或許一個AI老師的存在，有機會能給虛擬世界中的擬真駕駛帶來更多的樂趣，就像《GT賽車4》的宣傳片片頭所說，“體驗汽車生活”。
這可能纔是一個基於遊戲而生的AI能爲玩家帶來的最重要的東西——如同山內一典對Sophy項目的評論， “我們不是爲了打敗人類而製造人工智能——我們追求人工智能，是爲了最終更好地瞭解人類。”
索尼人工智能打敗人類頂尖玩家登上《自然》封面3
據路透社倫敦2月9日報道，索尼公司週三說，它創造了一個名爲“GT索菲”的人工智能（AI）代理，能擊敗《GT賽車》——PlayStation平臺上的模擬賽車遊戲——中全球最優秀的車手。
該公司在一份聲明中說，爲了讓“GT索菲”爲這款遊戲做好準備，索尼公司的不同部門提供了基礎人工智能研究成果、超現實真實世界賽車模擬器，以及進行大規模人工智能訓練所需的基礎設施。
報道稱，去年7月，該人工智能首次與《GT賽車》的四名頂尖車手展開了較量，它吸取了這次比賽的經驗，並在當年10月的另一場比賽中戰勝了人類車手。
這款人工智能的設計團隊領導者、索尼人工智能美國公司負責人彼得·沃爾曼說：“我們用了大約20臺PlayStation遊戲機，同時運行大約10到12天，才訓練‘GT索菲’從零開始達到超人類水平。”
報道指出，雖然人工智能曾在國際象棋、麻將和圍棋比賽中擊敗人類，但索尼公司說，掌握賽車駕駛技術的難點在於，許多決定是必須實時做出的。
據報道，索尼的競爭對手微軟公司最近斥資近690億美元收購了動視暴雪公司。微軟一直在利用遊戲來改進人工智能，其方式是不斷爲人工智能模型提供新挑戰。
報道稱，《GT賽車》是一款模擬賽車電子遊戲，1997年問世，已售出8000多萬套。
索尼希望將學習到的東西應用到其他PlayStation遊戲中。該公司說：“有很多遊戲可以對人工智能構成不同挑戰，我們期待開始解決這些問題。”
