A ChatGPT, az OpenAI népszerű AI chatbotja egyértelmű vereséget szenvedett egy 46 éves, 1978-as Atari 2600 sakk programjától, miután Stephen Cobb kutató 2024 márciusában egymás ellen játszatta a két rendszert. A kísérlet során a játékkonzol hat játszmából ötöt nyert meg, míg a ChatGPT mindössze egyszer győzött, ami 83%-os vereségi arányt jelent az AI számára. Cobb kifejezetten azért végezte a kísérletet, hogy tesztelje a nyelvi modellek képességeit olyan stratégiai játékokban, mint a sakk, ahol a mély és előre tervező gondolkodás elengedhetetlen.
Az Atari 2600 Video Chess programja, amely 1978-ban, mindössze négy kilobyte memóriával jelent meg, jelentősen felülmúlta a modern AI chatbotot, annak ellenére, hogy a GPT-4 alapú rendszer több mint 1,76 trillió paraméterrel rendelkezik. Stephen Cobb, aki a SONAR (Security Operations, Network Analysis and Research) kutatója, részletesen dokumentálta a játszmákat, és abszolút vereségként jellemezte a ChatGPT teljesítményét. Az AI modell sikertelenségének fő oka, hogy képtelen volt felismerni olyan alapvető sakklépéseket, mint a sakk-matt, és gyakran érvénytelen lépéseket javasolt – a ChatGPT a játszmák során átlagosan 3,3 szabálytalan lépést tett játszmánként, ami azt mutatja, hogy nem ismeri megfelelően a sakk szabályait.
A kísérlet eredményei komoly korlátokat tártak fel a nyelvi modellek stratégiai gondolkodásában, különösen a sakk területén, ahol a pontos szabálykövetés és előretervezés kritikus fontosságú. A CNET által 2024. március 4-én közölt beszámoló szerint az eredmények megkérdőjelezik a nyelvi modellek általános problémamegoldó képességeit, miközben a 46 éves technológia négy kilobyte-os memóriája elégségesnek bizonyult a sakk alapvető szabályainak pontos követésére. Bár a GPT-4 számos területen kiemelkedő teljesítményt nyújt, a sakk és hasonló stratégiai játékok továbbra is jelentős kihívást jelentenek az AI chatbotok számára.
Források:
See full bio
AI generated image using Grok
