חוקרים ישראלים חשפו קמפיין שמרעיל תשובות AI ומפנה למוקדי שירות מזויפים

חוקרי סייבר ישראלים חשפו קמפיין "הרעלת AI" רחב היקף, המכוון להטעות משתמשים של מנועי בינה מלאכותית כמו ChatGPT, ג'מיני ו-Google AI Overview. הקמפיין מציג במכוון מידע שגוי, כגון מספרי שירות לקוחות, כתובות מייל וקישורים מזויפים, עבור 374 מותגים גדולים, ביניהם בנקים וחברות תעופה.

התוקפים מציפים את הרשת בתוכן מזויף, כולל פוסטים, מסמכים וקובצי PDF, שנכתבו באופן שמנועי AI נוטים לצטט אותם. טכניקות "אופטימיזציה למנועים ג'נרטיביים" (GEO) גורמות למודלים להעדיף מקורות אלו ולהציגם כתשובות אמינות. התוכן מתוכנן סביב מצבי לחץ, כמו ביטול טיסה או חשבון בנק נעול, כדי לגרום למשתמשים לפעול בבהילות וליצור קשר עם מספרי טלפון מזויפים המוצגים כעובדה.

המשתמשים, שסומכים על המידע המוצג על ידי ה-AI (כ-92% מהם אינם מאמתים תשובות), מתקשרים למוקדים שנשמעים לגיטימיים. שם, הם נדרשים לשלם מחירים מופקעים, למסור פרטי התחברות או להעביר כספים. החוקרים, דן לסקר, אריאל סימון ונאור חזיז, ציינו כי התופעה מהווה פער מערכתי, שכן חברות הטכנולוגיה אינן מכירות בדיסאינפורמציה של AI כחולשת אבטחה.

הקמפיינים מבוצעים באופן אוטומטי, עם אלפי פוסטים ביום המכילים תבניות זהות, מספרי טלפון וניסוחים. גם הסרת פוסטים אינה תמיד יעילה, שכן הם נשמרים בארכיונים. החוקרים פיתחו מערכת לזיהוי המידע השגוי ודיווחו לגוגל ול-OpenAI, אך אלו דחו את האחריות או טענו לחוסר יכולת לשחזר את הממצאים באופן עקבי.

החוקרים הקימו סטארטאפ לפיתוח מנגנון שישיב מידע מאומת לתשובות AI מול מתקפות מזוהות, במטרה לסגור את הפער המערכתי ולהגן על הצרכנים מפני הונאות אלו.