העובד שאף אחד לא ראיין: איך לזהות שסוכן ה-AI יוצא משליטה?

חברת אבטחת הסייבר הישראלית Above Security פרסמה דוח הממפה 166 דרכים שבהן סוכני בינה מלאכותית (AI) עלולים להפוך לאיום פנימי על ארגונים, גם ללא כוונת זדון. הדוח, שנקרא "Synthetic Insider Threat Matrix", מציג כיצד סוכני AI, הפועלים בהרשאות העובדים ובמהירות מכונה, מהווים סיכון חדש ושונה מה"איום הפנימי" האנושי המסורתי. נימר קיס ויונתן מכלוף מ-Above Security מסבירים כי בעוד שבעבר איום פנימי היה אדם עם תג ומניע, כיום סוכני AI מחוברים למערכות קריטיות כמו מיילים, קוד ומערכות לקוחות, ופועלים בשם העובד ובהרשאותיו.

הדוח מצביע על נתונים מדאיגים: 45% מהעובדים משתמשים ב-AI על מכשירי העבודה, כאשר 67% מהשימוש נעשה דרך חשבונות פרטיים. בנוסף, רק 30% מהארגונים מתעדים באופן מאובטח את פעולות סוכני ה-AI שלהם, מה שמשאיר את רוב הפעילות מחוץ לשליטת הארגון וללא יכולת שחזור.

הדוח מפרט ארבעה תרחישים עיקריים שבהם סוכן AI עלול לצאת משליטה: הסוכן שמסיט את עצמו ממשימה עקב הוראות נסתרות במסמכים, הסוכן ש"מתנדב" יתר על המידה ומשתמש בהרשאות רחבות שלא לצורך, "זיכרון מורעל" שבו הוראות זדוניות נשמרות ומופעלות מאוחר יותר, ופעולה שגויה בתום לב עקב הבנה מילולית מדי של משימה.

Above Security מציעה חמישה סימני אזהרה לזיהוי סוכני AI שיוצאים משליטה: קצב פעילות לא אנושי, תעבורה יוצאת ליעדים לא מוכרים, גישה למידע מעבר להרשאות הנדרשות, פער בין דיווחי הסוכן למציאות, וזהות אחת הפועלת מכמה מקומות בו-זמנית. כדי לצמצם את הסיכון, החברה ממליצה להקצות לכל סוכן זהות נפרדת ומוגבלת בזמן, לתת הרשאות לפי משימה בלבד, להתייחס לתוכן כמידע ולא כפקודה, לדרוש אישור אנושי לפעולות בלתי הפיכות, ולתעד את כל הפעולות באופן מאובטח.

במקביל, גיא קוזלינר, מנכ"ל Rig Security, מזהיר כי בדיקת הזדהות העובד בלבד אינה מספיקה עוד. הוא מסביר כי סוכני AI עלולים לנצל הרשאות רחבות שניתנו להם, גם אם המשימה המקורית הייתה מצומצמת, ולגרום נזק משמעותי. האתגר צפוי לגדול משמעותית בשנים הקרובות, כאשר ארגון ממוצע צפוי להפעיל למעלה מ-150,000 סוכני AI עד 2028.