更新時間：2025-04-02來源：網絡
研究背景
當前科技發展迅猛，人工智能的性能測試成為了焦點。上周，加州圣地亞哥分校的Hao人工智能實驗室選擇了《超級馬力歐兄弟》這款經典游戲，用它來測試AI的能力。過去，游戲一直是評估AI成就的工具，這次用馬力歐游戲來測試，有助于我們更全面地了解AI的表現。
實驗室長期專注于AI領域的深入研究，這次他們別具一格地挑選了游戲作為實驗平臺，意在在新的環境中挖掘AI的潛能。這一研究有望為AI的未來發展帶來新的洞見和思路。
測試方法
這次測試并未采用1985年發布的《超級馬力歐兄弟》的原始版本。游戲是在模擬器上運行的，并且通過一個我們自主研發的框架與人工智能系統相連。這個框架使得AI能夠操控馬力歐。此外，實驗室還向AI輸出了基礎操作指令，例如“注意前方有障礙或敵人，請向左移動或跳躍以避開”，并且還提供了游戲截圖。
AI能夠以代碼形式控制馬力歐。這一過程猶如為AI安排了一場“考試”，目的是觀察其在游戲環境中的問題解決能力。借助嚴格的測試手段，實驗室得以準確評估每個AI模型在游戲中的實際表現。
模型表現
在參與測試的AI模型里，3.7的表現最為出色。它能夠迅速作出反應，規劃出行路徑，游戲操作顯得很流暢。排在第二位的是3.5，同樣顯示了不錯的游戲技巧，能夠在復雜環境中靈活應對。
相較之下，谷歌的1.5 Pro和GPT-4o的表現不盡理想。它們在應對游戲中的各種情形時，反應遲緩，操作不夠精確，因而游戲進程和得分都不太令人滿意。
推理與非推理模型差異
在實驗中，我們發現o1這類推理模型的表現并不如“非推理”模型。通常情況下，推理模型在多數基準測試中表現得更為出色，然而在這場實時游戲中，它們卻遭遇了挫折。原因在于，它們需要數秒鐘的時間來做出決策。
在《超級馬力歐兄弟》這款游戲中，時間把握至關重要，稍縱即逝的一秒差異，可能導致結果截然不同。非推理模型因其反應迅速，能捕捉到游戲中稍縱即逝的機遇，因此在游戲中表現更為出色。
游戲測試質疑
盡管游戲在數十年的時間里一直是評估人工智能性能的關鍵手段，然而，一些專家對將AI在游戲中的表現直接等同于技術發展的做法表示了懷疑。相較于現實世界，游戲往往更趨于抽象和簡單，同時也能為AI的訓練提供大量的數據支持。
在游戲環境中，AI的表現或許不能充分展示其在真實復雜環境中的實力。即便是一些出色的游戲基準測試成績，也引發了人們所謂的“評估困境”。
后續思考
盡管對此有不同看法，看AI操作馬力歐依然挺有意思。未來研究或許能更好地結合游戲和現實環境測試，全面評估AI的表現。此外，我們還需考慮如何提升AI在多變復雜環境中的適應能力。
AI的發展之路尚且漫長，此次通過游戲進行AI測試僅是初步的探索。我們熱切期待未來能有更多創新和優化，讓AI在各行各業都能展現出其高效潛能。
其他推薦
