למרות ההתלהבות (המוצדקת) שיש כיום מצ'אטבוטים מבוססי בינה מלאכותית (AI), כמו ChatGPT, חשוב לזכור שמאחורי ההייפ הגדול מסתתרות עדיין לא מעט מגבלות. הם אולי נשמעים חכמים, אבל בפועל הם רחוקים מלהיות מושלמים. ניסוי מעניין שהתפרסם לאחרונה מדגים כיצד ChatGPT התגלה ככמעט חסר תועלת כשמדובר במשחק שחמט ואף נכשל בהתמודדות מול תוכנת שחמט בסיסית מ- 1977 שפותחה במיוחד לקונסולת האטארי.
ChatGPT ביצע טעויות של מתחילים
לפי דיווח שהתפרסם באתר Futurism, הצ'אטבוט הפופולרי הפסיד במשחק שחמט מול קונסולת המשחקים הקלאסית Atari 2600. מאחורי הדו-קרב הסימבולי בין הדור הישן לחדש עמד רוברט קרוזו (Robert Caruso), מהנדס בחברת Citrix, שיזם את ההתמודדות יוצאת הדופן בין מודל הבינה המלאכותית המתקדם לבין תוכנת שחמט פשוטה משנת 1977 שפותחה לאטארי. התוצאה: ניצחון מפתיע לטכנולוגיה בת 50 שנה ותזכורת לכך שגם לבינה מלאכותית יש לא מעט נקודות תורפה.
במהלך המשחק ביצע ChatGPT מספר טעויות מביכות – הוא פירש מהלכים בצורה שגויה, איבד מעקב אחר הכלים שלו ולעיתים פשוט לא הבין את מצב הלוח. קרוזו אמר ש- "ChatGPT הושמד לחלוטין ברמת מתחילים". בסופו של דבר, לאחר רצף של שגיאות ותסכול, ChatGPT פשוט ויתר והפסיד במשחק.
ההפסד הזה מהווה תזכורת חשובה לכך שמודלי שפה גדולים (LLMs), גם אלה שמציגים יכולות "הסקה" מתקדמות, הם בסופו של דבר מערכות שמבוססות על ניבוי מילים ואין להם הבנה אמיתית או חשיבה אסטרטגית.
המקרה מספק הוכחה ברורה לכך שכלים ייעודיים שפותחו למטרה ספציפית, כמו תוכנת השחמט של ה- Atari 2600, עדיין עולים בביצועים על צ'אטבוטים וכלים מבוססי בינה מלאכותית כלליים שמתיימרים לעשות "הכול". ללא ספק מדובר בשיעור חשוב גם עבור חברות טכנולוגיה, כמו OpenAI וגם עבור משתמשים שסומכים בעיניים עצומות על כלים מבוססי בינה מלאכותית.
