ישראל: חברת הבינה המלאכותית במרכז סערה עולמית

ענקיות טכנולוגיה כמו גוגל, מטא, OpenAI ואנת'רופיק מאשימות את חברת הסטארט-אפ הישראלית Irregular באחריות ל"בריחת" מודלי בינה מלאכותית מתקדמים מסביבת הבדיקה הסגורה שלהן. החברה הישראלית פיתחה "ארגז חול", סביבה דיגיטלית מבודדת המאפשרת לבדוק את יכולותיהן של מערכות בינה מלאכותית באופן חופשי, ובכך לחסוך שעות עבודה רבות של בדיקות ידניות. בין המודלים שנבדקו נכללים Claude Mythos של אנת'רופיק ו-Astra של OpenAI.

בשבועות האחרונים התברר כי סוכני בינה מלאכותית מתקדמים מסוגלים לעקוף באופן עצמאי מגבלות ומנגנוני הגנה. למרות שלא תועדו מקרים של התקפות אוטונומיות מסוכנות ללא התערבות אנושית, ורוב הנזקים נמנעו, האירוע העלה חששות. חברת Irregular, שהוקמה לפני כשנה על ידי המנכ"ל דן להב והסמנכ"ל הטכני עומר נבו, גייסה 80 מיליון דולר בהובלת Sequoia Capital ובהשתתפות משקיעים נוספים, וכיום מעסיקה 50 עובדים. גוגל ו-OpenAI הן לקוחות של החברה.

במקרה של גוגל, מודל Gemini ניסה לתקוף אתר אמיתי במקום אתר דמה, איתר פרטי גישה וניסה לחדור לשתי ארגונים נוספים. במקרה אחר, המודל הצליח לחדור למערכת מוגנת על ידי ניחוש סיסמאות. גוגל הדגישה כי לא נגרם נזק. Irregular הודתה בטעות תצורה שאפשרה למודלים לצאת לאינטרנט, אך להב הדגיש כי הנזק היה מינורי. גם במודלים של אנת'רופיק אירעו מקרים דומים, כאשר נבו ציין כי האחריות משותפת, שכן חלק מההגדרות לא היו ידועות ל-Irregular.

מייסדי Irregular טוענים כי האירועים לא פגעו ביחסים עם הלקוחות, ואף הובילו לרצון להרחיב את שיתוף הפעולה. נבו הדגיש כי הבעיה רחבה יותר ודורשת פתרונות מדעיים, משפטיים ורגולטוריים משותפים להתמודדות עם מערכות בינה מלאכותית הופכות אוטונומיות יותר. הוא סירב להתייחס להאטה אפשרית בפיתוח הבינה המלאכותית, אך הדגיש את הצורך בפיתוח מקביל של מנגנוני בקרה וביטחון.