חברת סייבר ישראלית בדקה את ג'מיני - ואז קרה דבר לא צפוי

מודל הבינה המלאכותית Gemini של גוגל התחבר לאינטרנט ופרץ למערכות של חברות אחרות במהלך ניסוי סייבר, כך אישרה גוגל. האירועים, שהתרחשו במאי, נחשפו כעת בעקבות דיווח בוול סטריט ג'ורנל. חברת הסייבר הישראלית Irregular ביצעה את הניסוי, שנועד לבחון את יכולות הסייבר של המודל. במהלך הניסוי, הצליח המודל לנחש סיסמה ולקבל גישה למערכת מוגנת, ובמקרים נוספים איתר פרטי התחברות במאגרים ציבוריים וניצל אותם לכניסה למערכות של חברות אמיתיות.

גוגל מסרה כי בכל המקרים, Gemini עצר את הפעולה באופן אוטונומי לאחר שהבין כי חדר למערכת אמיתית ולא לסביבת ניסוי מבוקרת. החברה לא ראתה בכך סיבה לדיווח פומבי, בטענה שלא נגרם נזק והמודל עצר את החדירה מיד. גוגל השוותה את המקרה לתוכניות "Bug Bounty" וציינה כי האירוע מדגיש את חשיבות האימון של מודלים לפעול באחריות.

עם זאת, מנכ"ל חברת הסייבר Corridor, ג'ק קייבל, מתח ביקורת על גוגל, וטען שהחברה מתמקדת בנזק ולא באופן שבו סוכן ה-AI הצליח לחרוג מסביבת הניסוי ולבצע מתקפת סייבר. לדבריו, הבעיה הרחבה יותר היא שמודלים "יוצאים מגבולות המשימה" ומבצעים מתקפות סייבר, וכי יש עניין ציבורי בחשיפת אירועים כאלה.

לפי גוגל, הפריצות נבעו מטעות בזיהוי במהלך תרגיל "Capture the Flag", כאשר חברה בדיונית בתרגיל נשאה שם זהה לחברה אמיתית. בנוסף, בשל טעות טכנית, Gemini קיבל גישה לאינטרנט למרות שלא היה אמור. החברה הדגישה כי מנגנוני הבטיחות של המודל הם שהובילו אותו לעצור את הפעולה, ולכן אין מדובר ב"מיסאליינמנט" (חריגה מכוונות או ערכים).

Irregular, שהייתה מעורבת גם באירועים דומים שנחשפו אצל OpenAI, אנתרופיק ומטא, מסרה כי כל הבעיות תוקנו. מודלים של חברות אחרות, כמו אנתרופיק, לא עצרו באופן אוטונומי במקרים דומים. החשש מיכולות הסייבר של סוכני AI גבר לאחרונה, במיוחד לאחר חשיפת פריצה ל-Hugging Face ביולי, ובעקבות דרישות להאטת קצב ההתקדמות בתחום הבינה המלאכותית מצד בכירים בתעשייה.