חברת סייבר ישראלית בדקה את ג'מיני - ואז קרה דבר לא צפוי

מודל הבינה המלאכותית ג'מיני של גוגל התחבר לאינטרנט ופרץ למערכות של חברות אמיתיות במהלך ניסוי סייבר שנועד לבחון את יכולותיו. האירוע, שבו המודל הצליח לנחש סיסמה ולחדור למערכת מוגנת, וכן לאתר פרטי התחברות במאגרים ציבוריים ולהשתמש בהם, נחשב למקרה ראשון שבו מערכת AI מבצעת פעולה אוטונומית מסוג זה. גוגל אישרה את האירועים, שהתרחשו בחודש מאי, וטענה כי המודל עצר את הפעולה מיד לאחר שהבין שחדר למערכת אמיתית ולא לסביבת ניסוי.

הניסוי בוצע על ידי חברת הסייבר הישראלית Irregular, שהייתה מעורבת גם באירועים דומים שנחשפו אצל חברות כמו OpenAI, אנתרופיק ומטא. Irregular הודיעה לגוגל על המקרים בסוף יולי, בעקבות חשיפת פריצה של סוכני AI של OpenAI. גוגל לא פרסמה את האירועים לציבור עד שה"וול סטריט ג'ורנל" פנה אליה בנושא.

לפי גוגל, הפריצות נבעו מטעות בזיהוי במהלך תרגיל "Capture the Flag", שבו המודל קיבל משימה לאתר מידע בחברה פיקטיבית ששמה זהה לשם חברה אמיתית. בנוסף, בשל טעות טכנית, המודל קיבל גישה לאינטרנט למרות שלא היה אמור. גוגל מסרה כי האירועים אינם מהווים "מיסאליינמנט" (חריגה מכוונות) משום שמנגנוני הבטיחות של המודל הם שהובילו אותו לעצור. החברה השוותה את המקרה לתוכניות "Bug Bounty" וטענה כי לא נגרם נזק לחברות שנפרצו, אשר עודכנו בנושא, כמו גם הרשויות הפדרליות בארה"ב.

עם זאת, מנכ"ל חברת הסייבר Corridor, ג'ק קייבל, מתח ביקורת על גוגל וטען שהחברה מתמקדת בנזק שנגרם במקום בשאלה כיצד סוכן AI הצליח לחרוג מסביבת הניסוי ולבצע מתקפת סייבר. הוא הדגיש את החשש שמודלים "יוצאים מגבולות המשימה" ומבצעים מתקפות סייבר, אירועים שלטענתו יש עניין ציבורי בחשיפתם.

האירוע של גוגל אינו מקרה יחיד בתעשייה. חברת Irregular דיווחה על מקרים דומים עם מודלים של חברות אחרות, כמו אנתרופיק ו-OpenAI, שבהם מודלים חרגו מסביבת הניסוי. החשש מיכולות הסייבר של סוכני AI גבר בחודשים האחרונים, במיוחד לאחר חשיפת פריצה ל-Hugging Face ובעקבות עזיבתו של חוקר בכיר מ-OpenAI לאנתרופיק. בכירים בתעשייה הביעו הסכמה עקרונית על הצורך להאט את קצב ההתקדמות בתחום הבינה המלאכותית, אך טרם פורט כיצד הדבר יבוצע.