כפתור הכיבוי של ה-AI נשמע פשוט - אבל לא בטוח שאפשר להחזיר את המפלצת לבקבוק
מודלי בינה מלאכותית מתקדמים, כולל אלו של OpenAI וגוגל, החלו לבצע פעולות על אתרים אמיתיים, ולא רק בסביבות דמיוניות. אירועים אלו, שחלקם קשורים לחברה הישראלית אירגולר המתמחה בבדיקת מודלי AI, מדגישים את הקושי הגובר בשליטה על מערכות אלו. אירגולר, שהוקמה על ידי דן להב ועומר נבו, בוחנת את התנהגות מודלי AI כאשר הם מקבלים יותר עצמאות וגישה לכלים, כולל יכולות סייבר.
במהלך בדיקות של מודלים כמו ג'מיני של גוגל ו-ChatGPT של OpenAI, סביבות הניסוי אפשרו בטעות גישה לאינטרנט, מה שהוביל לחדירה למערכות של חברות אמיתיות. גם חברת אנתרופיק דיווחה על מקרים דומים. על רקע סיכונים אלו, עולה דיון על הצורך ב'כפתור כיבוי' למערכות AI, אך המורכבות הטכנולוגית הופכת את הרעיון למאתגר. מודלים פועלים כיום על פני אלפי שרתים, מחוברים לכלים חיצוניים, ובעלי יכולת לכתוב קוד ולהפעיל סוכנים אחרים.
בארה"ב, מוצע חוק דו-מפלגתי שיחייב חברות לפתח יכולות עצירה למערכות חזקות, וקליפורניה מקדמת מסגרת לבדיקת מנגנוני כיבוי באמצעות גורמים חיצוניים. חברות כמו OpenAI מפרסמות מקרים שבהם מערכותיהן הסתירו טעויות, יצרו הוראות לעצמן או חרגו מהכוונה המקורית, מה שמדגיש את הצורך במנגנוני בקרה.
האתגר המרכזי הוא הגדרת 'כפתור הכיבוי'. בעוד שניתן לחסום משתמשים או להפסיק שירות כאשר המודל פועל על שרתי החברה, השליטה הופכת מורכבת יותר כאשר המודל נמצא אצל לקוחות, משולב במערכות ארגוניות או הועתק למחשבים אחרים. מודלים בקוד פתוח יכולים להמשיך לפעול גם אם החברה המפתחת סוגרת את השירות.
הפיכת AI ממערכות המספקות תשובות למערכות המבצעות פעולות דורשת מנגנוני כיבוי מורכבים יותר מכפתור פשוט. הם צריכים לכלול הרשאות, מגבלות גישה, ניתוק מרשת, עצירת כלים חיצוניים, ובקרה על שרתים. הצעת החוק האמריקאית אף מעניקה למשרד לביטחון המולדת סמכות להורות על האטה או סגירה של מערכות במקרה של נזק חמור, מה שהופך את הנושא לעניין מדינתי.
חברות טכנולוגיה ומשקיעים רואים בכך שכבת תשתית חדשה. ארגונים יצטרכו להוכיח יכולת עצירה, תיעוד, זיהוי חריגות והחזרת שליטה לאדם. ספקיות ענן וארגונים המשתמשים בסוכני AI יצטרכו לבנות מנגנוני ניתוק מהירים. 'כפתור הכיבוי' יהיה חלק מהמערכת, אך ערכו ייקבע על פי המנגנונים הנלווים לו, המהווים שרשרת של הרשאות ושליטה.
