מפתחי הבינה המלאכותית חוששים מיצירתם ומתכוננים לתרחישי קץ

חברות מובילות בתחום הבינה המלאכותית (AI), כמו Anthropic, מפתחת מודל Claude, מגלות חששות עמוקים מפני הטכנולוגיה שהן עצמן יוצרות. עובדים בחברות אלו אף שקלו בעבר תוכניות מגירה הכוללות רכישת קרקעות באזורים מרוחקים בארה"ב, למקרה שה-AI יצא משליטה ויגרום נזק בלתי הפיך לאנושות. Anthropic, שהוקמה ב-2021 על ידי דאריו ודניאלה אמודי, יוצאי OpenAI, נבדלת ממתחרותיה בכך שהיא מנסה למצב עצמה כאלטרנטיבה מוסרית, תוך פיתוח מסמכים אתיים מקיפים וארכיטקטורה של "AI חוקתי" שמטרתה למנוע סטיות מהנחיות מוגדרות. עם זאת, החברה מתמודדת עם פרדוקס פנימי: כדי להוביל בתחום הבטיחות, היא נאלצת לפתח מודלים חזקים יותר, ובכך להאיץ את המרוץ הטכנולוגי.

החששות הללו אינם ייחודיים ל-Anthropic. איליה סוצקבר, שעזב את OpenAI, הביע גם הוא דאגות דומות בנוגע לקצב הפיתוח והבטיחות. בעוד ש-OpenAI וגוגל מתמקדות ביישום מסחרי מהיר, Anthropic מנסה לשמור על גישה מוסרית יותר, אך המרוץ התעשייתי נמשך במלוא עוזו. הגישה של Nvidia, לעומת זאת, שונה. מנכ"ל החברה, ג'נסן הואנג, מאמין שניתן לפתור את בעיות הבטיחות באמצעות פתרונות הנדסיים מדויקים, ולא באמצעות האטה בפיתוח. Nvidia השיקה פלטפורמת "Open Agent Safety Platform" שמטרתה לאפשר הגדרת מגבלות בטיחות קפדניות לסוכני AI אוטונומיים.

התחרות העזה בתחום ה-AI מעוררת דאגה גם באירופה, שם הרגולטורים מטילים פיקוח הדוק על חברות הטכנולוגיה. בסין, לעומת זאת, הדגש על "בטיחות" קשור בעיקר ליציבות פוליטית וצנזורה. בישראל, לצד אימוץ נרחב של AI בתחום הביטחון, עולים קולות הקוראים להגדרת תרחישי כשל קריטיים למערכות אוטונומיות.

ההתפתחויות בתחום ה-AI משתוות למצב הטכנולוגיה הגרעינית לאחר מלחמת העולם השנייה. בעוד שבעבר נדרשו שנים לייצוב המערכת הגלובלית, כיום נדרשים ככל הנראה הסכמים בינלאומיים מחייבים, בדומה להסכמי פיקוח על נשק גרעיני, כדי למנוע אסון בקנה מידה עולמי. ייתכן שרק אירוע טראומטי, בדומה להפצצות על הירושימה ונגסאקי, יגרום להכרה בסיכונים העצומים של AI ויניע את הקהילה הבינלאומית לפעולה משותפת.