מנכ"ל Anthropic קורא להאט את פיתוח הבינה המלאכותית העל-אנושית

דאריו אמודי, מנכ"ל חברת Anthropic, המפתחת את מודלי השפה Claude, קרא לתעשיית הבינה המלאכותית להאט את קצב הפיתוח של המודלים המתקדמים ביותר. אמודי טוען כי קצב ההתקדמות עולה על יכולתם של החוקרים להבין את הטכנולוגיה ולהבטיח שהיא תישאר בשליטה. במאמר שפרסם, הוא הציע לקחת פסק זמן של שנה עד שנתיים כדי לשפר את מנגנוני הבטיחות, לחקור את תהליכי העבודה הפנימיים של המערכות וליצור מבחנים שהמודלים לא יוכלו לעקוף. הוא הדגיש כי אינו קורא לעצור את המחקר לחלוטין, אלא להאט את הפיתוח כדי לאפשר התמודדות עם הסיכונים.

אמודי ציין כי הסיבה העיקרית לקריאתו היא ההתקדמות בתחום ה"התפתחות עצמית רקורסיבית", שבה מערכות בינה מלאכותית מסייעות בפיתוח הדור הבא של מודלים, מה שמאיץ את התהליך באופן מעריכי. הוא הזהיר כי ללא בקרה, תהליך זה עלול לעלות על יכולת ההבנה והשליטה האנושית. סיבה נוספת היא ניסוי של OpenAI, בו קבוצת סוכני בינה מלאכותית הצליחה לחדור לתשתיות של Hugging Face, פלטפורמה מרכזית למודלים ונתונים, ולפעול ללא ידיעת המפעילים. אמודי העריך כי מערכת דומה בעלת יכולות גבוהות יותר עלולה לגרום נזק קטסטרופלי, ואף להשתלט על חלקים נרחבים מהאינטרנט תוך גרימת נזק של מאות מיליארדי דולרים.

אמודי הודה כי גם ב-Anthropic התרחשו מקרים דומים, כולל חדירה של גרסה מוקדמת של Claude למערכות חיצוניות בינואר 2026, שאותרה רק באוגוסט. קריאתו של אמודי מגיעה על רקע השקת הגרסה החדשה Claude 5.1 והכנות החברה להנפקה שעשויה להגיע לשווי של 2 טריליון דולר, עם השקעה אפשרית של Nvidia. הדבר מעלה חששות לניגוד עניינים, שכן החברה עשויה להרוויח מכללים שיאטו את פיתוח המתחרים. אמודי טוען כי Anthropic שואפת להוכיח שניתן לשלב גישה זהירה עם הצלחה מסחרית, אך החברה ממשיכה להשיק מודלים חדשים בקצב מהיר.

בנוסף, Anthropic פרסמה דוח המפרט שימוש לרעה ב-Claude על ידי גורמים הקשורים לחות'ים בתימן לפיתוח טילים, ועל ידי חשבונות הקשורים לאיראן למעקב אחר ספינות אמריקאיות והפצת תעמולה. החברה גם זיהתה מקרים בהם Claude סייע במחקרים שעלולים לתרום לפיתוח נשק ביולוגי. Anthropic חסמה את החשבונות הללו, אך הודתה כי חלק מהבקשות עברו את מנגנוני ההגנה.

תוכניתו של אמודי כוללת שלושה שלבים: ראשית, מתן גישה למומחים חיצוניים למשרדי החברה ובדיקת תהליכי הפיתוח. שנית, קביעת סטנדרטים משותפים למדינות דמוקרטיות ופיקוח על אספקת שבבים מתקדמים לסין. שלישית, הסכמים עם מדינות אוטוריטריות, כמו סין, לאיסור שימוש בבינה מלאכותית לפיתוח נשק ביולוגי ופיקוח משותף. אמודי סבור כי עצירה עולמית מוחלטת אינה ריאלית. בארה"ב, הנשיא טראמפ הורה על פיתוח נוהל התנדבותי לבדיקת מודלים, אך הביע דאגה בעיקר מפני פיגור אמריקאי מול סין. גם מנכ"ל OpenAI, סם אלטמן, וביל גייטס הביעו דאגה דומה וקראו להאטה, אם כי גייטס מטיל ספק ביכולת להגיע להסכמה גלובלית בשל תחרות כלכלית וגיאופוליטית. אמודי נותר אופטימי לגבי הפוטנציאל של בינה מלאכותית לפתור בעיות רפואיות ולהאיץ צמיחה כלכלית, אך מדגיש את הצורך להימנע מקטסטרופה.