שלמה קרמר מציע: עשרות אלפי דולרים למי שיצליחו "לעבוד" על סוכן AI
תומצת מתוך Calcalist על ידי baba
חברת קייטו נטוורקס מציעה פרס של 30 אלף דולר לשלושה שיצליחו להטעות סוכן AI. החברה השיקה אתמול את AgentSense, פתרון אבטחה חדשני לניטור סוכני AI. האתגר נועד לשפר את יכולות ההגנה של הפתרון מפני התקפות זדוניות. שלמה קרמר, מנכ"ל החברה, הדגיש את חשיבות הפיקוח על סוכני AI בתהליכים עסקיים קריטיים.
הידיעה ב-5 שורות · תקציר של baba
- קייטו נטוורקס מציעה 30 אלף דולר לשלושה שיצליחו להטעות סוכן AI.
- החברה השיקה אתמול את AgentSense, פתרון אבטחה חדשני לניטור סוכני AI.
- האתגר נועד לשפר את יכולות ההגנה של הפתרון מפני התקפות זדוניות.
- שלמה קרמר, מנכ"ל החברה, הדגיש את חשיבות הפיקוח על סוכני AI.
- הפתרון מתמודד עם חולשה בסיסית של סוכני AI בהבחנה בין הוראות לגיטימיות לתוכן חיצוני.
חברת אבטחת הסייבר קייטו נטוורקס (Cato Networks) מציעה פרס של 30 אלף דולר לשלושת הראשונים שיצליחו להטמין הוראות זדוניות בסוכן בינה מלאכותית (AI) ולגרום לו לסטות ממשימתו. החברה, שהוקמה על ידי שלמה קרמר המשמש גם כמנכ"ל, השיקה אתמול את AgentSense, פתרון אבטחה חדשני המנטר פעילות של סוכני AI אוטונומיים בזמן אמת כדי לוודא שהם פועלים בהתאם לכוונת המשתמש.
במסגרת האתגר, קהילת אבטחת המידע מוזמנת לתקוף סוכן AI המוגן באמצעות AgentSense, על ידי הטמעת הוראות זדוניות בתוכן שהסוכן נחשף אליו. קייטו תשתמש בממצאים לשיפור יכולות ההגנה של הפתרון. קרמר הדגיש את חשיבות הפיקוח על סוכני AI, במיוחד בעידן שבו הם מקבלים החלטות עסקיות קריטיות, והשווה את הצורך בבקרה זו לבקרה פיננסית.
הפתרון AgentSense נועד להתמודד עם חולשה ארכיטקטונית בסיסית של סוכני AI, הקושי להבחין בין הוראות לגיטימיות לתוכן חיצוני שאינו אמור להנחות את פעולותיהם. תוקפים יכולים לנצל זאת על ידי הסתרת הוראות זדוניות בהודעות, מסמכים או קריאות שירות, כדי להסיט את הסוכן ממשימתו. מצב זה, המכונה "השילוש הקטלני", מתרחש כאשר לסוכן יש גישה למידע רגיש, יכולת להפעיל כלים ולפעול באופן אוטונומי, ומהווה איום עסקי ממשי.
בניגוד לפתרונות מסורתיים המסתמכים על זיהוי דפוסים מוכרים, AgentSense בוחנת בזמן אמת כיצד תוכן לא מהימן משפיע על החלטות ופעולות הסוכן, ומספקת הגנה גם מפני התקפות חדשות. שלושת המשתתפים הראשונים שיעמדו בתנאי הזכאות וישלימו את האתגר בהצלחה יזכו ב־10,000 דולר כל אחד.
אותו אירוע, כפי שכל מערכת דיווחה עליו בנפרד. פתחו כמה דיווחים כדי להשוות מה כל מערכת מדגישה, ומה היא משאירה בחוץ.
מרכז 1אחרים 2
