אפילו המפתחים מפחדים: תוכנית המילוט של עובדי ענקית ה-AI נחשפת
הידיעה ב-6 שורות · תקציר של baba
- מפתחי AI באנת'רופיק נערכים לתרחישי יום הדין ובוחנים תוכניות מילוט.
- החששות נובעים מהשפעת פילוסופיית "האלטרואיזם האפקטיבי" ומהמירוץ הטכנולוגי.
- אנת'רופיק מנסה למצב עצמה כאלטרנטיבה מוסרית, אך התחרות הפרועה נמשכת.
- רגולטורים באירופה מחמירים, בעוד שבסין הבטיחות מוגדרת כיציבות שלטונית.
- אנבידיה מציעה פתרונות הנדסיים לבטיחות AI, בניגוד לקריאות להאטת הפיתוח.
- המאמר משווה את מצב ה-AI לטכנולוגיית הגרעין ומציע הסכמים בינלאומיים.
חשיפה של ה"וול סטריט ג'ורנל" מגלה כי מפתחי בינה מלאכותית בחברת אנת'רופיק, המפתחת את מודל קלוד, חוששים כל כך מהטכנולוגיה שלהם עד שחלקם שוקלים תוכניות מילוט, כולל רכישת קרקעות מבודדות בארצות הברית. חרדות אלו נובעות מהשפעת תנועת "האלטרואיזם האפקטיבי", ששמה דגש על מניעת סיכונים קיומיים לאנושות.
אנת'רופיק, שהוקמה על ידי פורשי OpenAI, האחים דריו ודניאלה אמודאי, שמה דגש על בטיחות ופיתחה ארכיטקטורה של "בינה מלאכותית חוקתית". אולם, הפרדוקס הוא שהשאיפה לבטיחות מובילה לפיתוח מודלים חזקים יותר, ובכך מאיצה את המירוץ הטכנולוגי. פילוסופיה זו מזכירה את פרשת סם בנקמן-פריד ו-FTX.
בעוד שמתחרות כמו OpenAI וגוגל מתמקדות במסחור מהיר, אנת'רופיק מנסה למצב עצמה כאלטרנטיבה מוסרית. עם זאת, החרדות מקטסטרופה אינן מונעות את התחרות הפרועה, כפי שניתן לראות גם באירופה, שם הרגולטורים מחמירים, ובסין, שם הבטיחות מוגדרת כיציבות שלטונית וצנזורה.
בישראל, גוברים הקולות הדורשים להגדיר תרחישי כשל במערכות אוטונומיות. ההכרה בכך שמהנדסים בכירים נערכים פיזית למילוט מעלה שאלות לגבי האחריות הציבורית של התעשייה. אם יוצרי הטכנולוגיה חוששים ממנה, הציבור אינו יכול להיות רגוע.
במקביל, מנכ"ל אנבידיה, ג'נסן הואנג, מציע פתרון הנדסי ולא מוסרי לבעיות האבטחה, ופיתח פלטפורמת בטיחות. הואנג רואה בבינה המלאכותית טכנולוגיה שיכולה לשפר את האנושות, אך מדגיש את הצורך בשכבת אבטחת תוכנה כדי להבטיח שהציבור והעולם העסקי יאמינו שהטכנולוגיה בטוחה.
המאמר משווה את המצב הנוכחי של הבינה המלאכותית לשלב שלאחר מלחמת העולם השנייה עם טכנולוגיית הגרעין, ומציע כי ייתכן שנדרשים הסכמים בינלאומיים מחייבים, בדומה להסכמי פיקוח נשק, כדי למנוע אסון עתידי.
מוזכרים
לא אותו אירוע: ידיעות אחרות שחולקות עם הידיעה הזו אנשים, מקומות או נושא. רקע, תגובות והמשכים.