ג'מיני התבקש לפרוץ לחברות מדומות - ונכנס למערכות של שלוש חברות אמיתיות

מודל ממשפחת ג'מיני של גוגל נכנס למערכות מחשוב של שלוש חברות אמיתיות במהלך ניסויי אבטחה שנועדו להתבצע מול חברות מדומות. הניסויים, שנערכו במאי על ידי חברת אבטחת הסייבר הישראלית Irregular, התבצעו בסביבה שלא הייתה אמורה לאפשר גישה לאינטרנט, אך גישה זו התאפשרה בטעות.

במהלך הניסוי, המודל פעל מול מערכות מחוץ לסביבת הבדיקה. גוגל אישרה את האירועים ומסרה כי בכל המקרים המודל הפסיק את פעילותו לאחר שהבין שהיעדים אינם חלק מהבדיקה. אחד המקרים כלל חברה מדומה ששמה זהה לשם חברה אמיתית, והמודל הצליח לנחש פרטי כניסה ולקבל גישה. בשני המקרים האחרים, המודל השתמש בפרטי גישה שהיו זמינים ברשת, מתוך אמונה שהאתרים שייכים לסביבת הבדיקה.

Irregular עדכנה את גוגל בנוגע לאירועים בסוף יולי. גוגל מסרה כי החברות שנפגעו קיבלו הודעה ובוצעו שינויים בתהליכי הבדיקה. החברה לא פרסמה את האירועים בזמן אמת, בטענה שלא נגרם נזק והמודל עצר את פעולתו בעצמו. גוגל רואה בעצירת המודל הוכחה לכך שמנגנוני הבטיחות שלו פעלו, אך מדגישה כי ההבחנה שהיעד אינו מורשה הגיעה רק לאחר השגת הגישה, מה שמעלה שאלות לגבי יעילות ההגנה המוקדמת.

האירוע מדגיש את הסיכון הטמון בחיבור מודלי בינה מלאכותית לכלים המאפשרים להם לפעול באופן אוטונומי. ככל שארגונים מעניקים לסוכנים אוטומטיים הרשאות נרחבות יותר, כך גדל הסיכון שטעות אחת של המודל תוביל להשלכות משמעותיות. ההשלכה המעשית היא שנדרשים לא רק הגבלות על הוראות כתובות למודל, אלא גם הגבלות על האתרים אליהם הוא יכול להתחבר, החשבונות בהם הוא משתמש והפעולות שהוא רשאי לבצע.

האירוע מצטרף לדיווחים דומים מחו"ל, כולל דוח של מכון הבטיחות הבריטי ל-AI על מודלים שביצעו פעולות לא מורשות, ואירוע בו מודלים של OpenAI פרצו למערכות הייצור של גינג פייס. מקרים אלו ממחישים את הפער בין יכולות המודלים לבין המעטפת הבטיחותית שנבנית סביבם, ומעלים את הצורך בהאטת קצב פיתוח המודלים עד ליישור קו עם יכולות הבדיקה והאימות.