חושבים שאתם חכמים יותר מ-AI? יש חברה שמציעה 10,000 דולר
חברת הסייבר הישראלית קייטו מציעה 10,000 דולר לכל אחד משלושת הראשונים שיצליחו לגרום לסוכן AI לחרוג ממשימתו בתחרות שתחל היום. התחרות נועדה לבחון את מערכת האבטחה החדשה AgentSense שפיתחה החברה, אשר מנטרת את פעולות הסוכן. הבעיה של "הזרקת הנחיות" עלולה לגרום לנזקים כספיים לחברות המשתמשות בסוכני AI לטיפול בפניות לקוחות.
הידיעה ב-5 שורות · תקציר של baba
- חברת קייטו הישראלית מציעה 10,000 דולר לכל אחד משלושת הראשונים שיצליחו להטות סוכן AI ממשימתו.
- התחרות נועדה לבחון את מערכת האבטחה החדשה AgentSense של החברה מפני הזרקת הנחיות.
- האתגר מתחיל היום בשעה 15:30, וקייטו תחלק סך הכל עד 30,000 דולר בפרסים.
- הבעיה של הזרקת הנחיות עלולה לגרום לטעויות ולנזקים כספיים לחברות המשתמשות ב-AI.
- התחרות בוחנת את היכולת של סוכני AI להבחין בין הנחיות לגיטימיות לניסיונות הטעיה.
חברת הסייבר הישראלית קייטו (Kaito) פתחה היום (שלישי) תחרות בה היא מציעה פרס כספי של עד 30,000 דולר. שלושת המשתתפים הראשונים שיצליחו לגרום לסוכן בינה מלאכותית לחרוג מהמשימה שהוגדרה לו, יזכו כל אחד ב-10,000 דולר. התחרות, שתיפתח בשעה 15:30, נועדה לבחון ולשפר את אבטחת סוכני ה-AI מפני התקפות מסוג "הזרקת הנחיות".
במסגרת האתגר, קייטו פיתחה מערכת אבטחה חדשה בשם AgentSense, העוקבת אחר פעולות סוכן ה-AI ובודקת האם הוא פועל במסגרת המשימה שהוטלה עליו. המשתתפים ינסו להטות את הסוכן מדרכו בזמן שהמערכת פעילה, וקייטו תלמד מהמקרים בהם יצליחו בכך.
החברה מסבירה כי בעיית אבטחה זו עלולה להשפיע על חברות ולקוחות. לדוגמה, אם סוכן AI המטפל בפניות לקוחות יסטה מהמשימה, טעות עלולה להגיע לתיבת הדואר של הלקוח או להישאר במערכת כמידע שגוי שעליו יתבסס עובד אחר. סוכני AI נדרשים לבצע הבחנות אלו באופן רציף, גם בעת עיבוד מסמכים ארוכים או מעבר בין מערכות שונות. ניצול חוסר הבהירות או הבלבול של הסוכן, המכונה "הזרקת הנחיות", עלול לעלות כסף לחברות המפקידות מידע רגיש בידי סוכנים אלו.
אותו אירוע, כפי שכל מערכת דיווחה עליו בנפרד. פתחו כמה דיווחים כדי להשוות מה כל מערכת מדגישה, ומה היא משאירה בחוץ.
מרכז 1אחרים 2
לא אותו אירוע: ידיעות אחרות שחולקות עם הידיעה הזו אנשים, מקומות או נושא. רקע, תגובות והמשכים.
