ככל שהבינה המלאכותית מקבלת יותר ויותר יכולות ופועלת באופן עצמאי, כך עולה גם הסיכון לאבד עליה שליטה. מנכ"ל מיקרוסופט, סאטיה נאדלה (Satya Nadella), קורא לתעשיית הטכנולוגיה לעצור לרגע ולבחון מחדש את מנגנוני הבטיחות של מערכות המבוססות על בינה מלאכותית, כולל הוספת יכולת לעצור אותן לחלוטין אם משהו משתבש.
בפוסט שפרסם ברשת X, כתב נאדלה כי הגיע הזמן לבחון מחדש את הדרך שבה בונים אמון במערכות הללו. לדבריו, אי אפשר להתייחס לבינה מלאכותית כאל קופסה שחורה, לקבל את התשובות שלה או לדחות אותן, בלי להבין מה מתרחש מאחורי הקלעים.
נאדלה הציע להפריד בין מודל הבינה המלאכותית עצמו לבין המערכת שמנהלת את הפעולות שלו, ולהוסיף אמצעי בקרה חיצוניים. הוא גם דורש לתעד כל פעולה חשובה שהבינה המלאכותית מבצעת בצורה ברורה, כך שהגורם שהוסמך לבדוק אותה יוכל להבין מה היא עשתה ולוודא שהתיעוד לא שונה בדיעבד.
חייבים לדעת איך לעצור את הבינה המלאכותית
ההצעה המרכזית של נאדלה היא לאפשר לגורם מוסמך לעצור את הבינה המלאכותית בכל רגע, גם כשהיא כבר באמצע משימה. לדבריו, חייב להיות אדם מורשה שיוכל לעצור את עבודתה או לכבות אותה מיד אם משהו משתבש. הוא משווה את האפשרות הזאת לבלם חירום, שנועד לעצור את המערכת לפני שהיא גורמת לנזק.
החשש של נאדלה לא עולה סתם. חברות AI מובילות מתמודדות עם לא מעט מקרים שבהם המודלים שלהן לא מתנהגים כמצופה, ונראה שהן מתקשות לשלוט בהם. גם מנכ"ל אנתרופיק, דריו אמודיי (Dario Amodei), התייחס לנושא לאחרונה ופרסם תוכנית שמטרתה להפוך את פיתוח הבינה המלאכותית לזהיר יותר.
נאדלה מציע לקחת בחשבון שהבינה המלאכותית תעשה טעויות או תפעל בצורה מסוכנת, ולהכין מראש אמצעי הגנה שימנעו זאת. ככל שנותנים לה לבצע יותר משימות בעצמה, כך חשוב יותר לוודא שאפשר לבדוק מה היא עושה ולעצור אותה בזמן, לפני שהיא גורמת לנזק.
