שואלים את הצ'אט אם להיבדק? הוא מפתיע, אבל יש כוכבית גדולה

מחקר חדש שערכו חוקרים משירותי בריאות כללית ואוניברסיטת בן-גוריון בחן את יכולתם של מודלי בינה מלאכותית, כדוגמת צ'אטבוטים, לזהות מתי אין צורך בבדיקה או טיפול רפואי. המחקר, שפורסם בכתב העת הרפואי Annals of Internal Medicine, מצא כי ברוב המקרים המודלים הצליחו להבחין בין מצבים הדורשים התערבות רפואית לבין כאלה שבהם ניתן להימנע ממנה. עם זאת, נמצאו אחוזים מסוימים של טעויות בשני הכיוונים: המלצה להימנע מהתערבות נחוצה ב-0.6% מהמקרים, והמלצה להתערב כשאין בכך צורך ב-5.4% מהמקרים. רוב הטעויות התרכזו בנושאים שבהם קיימת מחלוקת גם בקרב אנשי מקצוע, כמו ממצאים קטנים בבלוטת התריס או ביצוע אק"ג לאנשים בסיכון נמוך.

המחקר, בהובלת ד"ר דין אריאל וד"ר גיא לבן, התבסס על תרחישים רפואיים שנוסחו בהתאם להמלצות יוזמת Choosing Wisely, שמטרתה לצמצם בדיקות וטיפולים מיותרים. נבדקו שישה מודלי שפה גדולים של גוגל, אנתרופיק ו-OpenAI, כאשר כל תרחיש הוצג שלוש פעמים לבחינת עקביות התשובות. ד"ר אריאל ציין כי הופתע לטובה מיכולת המודלים להימנע מהמלצות מיותרות, והדגיש כי הטעויות העיקריות התרכזו בתחומים שבהם גם הרופאים מתלבטים.

החוקרים מציינים כי שפת הפנייה ואופן ניסוח השאלה עשויים להשפיע על התשובה המתקבלת מהצ'אטבוט. במחקרים אחרים נמצא כי אותה שאלה, כשהיא מנוסחת בעברית לעומת אנגלית, הובילה להמלצות שונות, לעיתים אף כאלה שחיזקו תפיסות שגויות של הפונה. ד"ר לבן הוסיף כי ישנם ניואנסים אנושיים שהמודלים עדיין לא מבינים, וכי יש לבחון את בטיחותם באופן מתמשך, במיוחד כשהם מתעדכנים. למרות המגבלות, החוקרים סבורים שכבר היום ניתן להיעזר במודלים אלו להתייעצות, אך יש לזכור שהם אינם תחליף לשיקול דעת רפואי אנושי.