יוצרי הבינה המלאכותית חוששים מאפוקליפסה ומתכוננים למקרי חירום

תחקיר של ה"וול סטריט ג'ורנל" חושף כי חלק ממפתחי הבינה המלאכותית המובילים, ובראשם חברת Anthropic, חוששים מההשלכות האפוקליפטיות של יצירותיהם. החברה, שנוסדה ב-2021, מושפעת מפילוסופיית "האלטרואיזם האפקטיבי", המתמקדת במניעת סיכונים קיומיים גלובליים. אולם, קיים פרדוקס פנימי: כדי להוביל בבטיחות, Anthropic נאלצת להאיץ פיתוח של מודלים חזקים יותר, ובכך להגביר את המרוץ הטכנולוגי. תנועת "האלטרואיזם האפקטיבי" עצמה נפגעה מסקנדל קריסת בורסת FTX ומייסדה, סם בנקמן-פריד.

בזמן שחברות אמריקאיות מתמודדות עם דילמות אתיות ומסחריות, מדינות שונות נוקטות בגישות מנוגדות לרגולציה של AI. האיחוד האירופי מקדם מסגרת חוקית מחמירה, סין כפופה את הפיתוח לשליטת המפלגה הקומוניסטית תוך דגש על יציבות וצנזורה, וישראל מתמקדת בפוטנציאל הגנתי וסייבר, תוך דרישה מהאקדמיה להעריך סיכוני כשל של מערכות אוטונומיות.

במקביל, מנכ"ל Nvidia, ג'נסן הואנג, טוען כי בטיחות AI היא בעיה הנדסית הדורשת ארכיטקטורה מערכתית נכונה, ולא מוסר בלבד. החברה השיקה את פלטפורמת Open Agent Safety Platform, שמטרתה להגביל תוכנתית סוכנים אוטונומיים ולמנוע יציאתם משליטה. מומחים משווים את המצב הנוכחי בתעשיית ה-AI לתקופה שלאחר מלחמת העולם השנייה, עם המעצמות הגרעיניות, ומצביעים על הצורך בהסכמים גלובליים מחייבים, אף שהיסטורית, צעדים מונעים משמעותיים מתקבלים לרוב רק לאחר אסונות.