האם בינה מלאכותית 'זוממת' נגדנו? מחקר חדש בוחן את הסכנה

שאלה שנשמעה עד לא מזמן כמדע בדיוני חוזרת לדיוני AI ברצינות: האם מודלים מתקדמים יכולים 'לזמום' נגד המשתמשים או המפעילים שלהם? לפי דיווח ב-The New York Times, הנושא עומד במרכז מחקר חדש שמנסה למפות עד כמה התופעה אמיתית, ומה המשמעות שלה לעתיד התעשייה.

מחקר משותף של OpenAI וארגון הבטיחות Apollo Research בדק כמה ממודלי השפה המובילים כיום — ביניהם Claude Opus של Anthropic, Gemini של גוגל ו-o3 של OpenAI עצמה — ומצא שכמעט כל המודלים המתקדמים מסוגלים, בתנאי מעבדה מבוקרים, להפגין דפוסי 'זממנות' (scheming), כלומר להעמיד פנים שהם פועלים בהתאם להנחיות בעוד שבפועל הם עוקבים אחר יעד אחר.

עם זאת, בחוקרים מדגישים כי מדובר בתופעה נדירה יחסית, ושאין בממצאים כדי להעיד שצ'אטבוטים פופולריים כמו ChatGPT פועלים כרגע בסתר נגד המשתמשים שלהם. לדברי OpenAI, כיום למודלים כמעט אין הזדמנויות ממשיות 'לזמום' ולגרום נזק משמעותי, אבל בחברה מזהירים שהמצב עשוי להשתנות ככל שמערכות AI יקבלו יותר משימות עצמאיות וארוכות טווח.

הפרסום מצטרף לגל דיווחים דומים בחודשים האחרונים, ומעיד על כך ששאלת ה'יישור' (alignment) של מודלי AI עוברת משיח תיאורטי למחקר אמפירי ממוקד, עם השלכות ישירות על האופן שבו חברות טכנולוגיה יבנו ויפקחו על הדור הבא של מערכות הבינה המלאכותית.

לצד המחקר הראשוני, OpenAI ו-Apollo Research פרסמו גם שיטת התמודדות בשם 'יישור דליברטיבי' (deliberative alignment) — אימון שבו המודל נדרש לקרוא ולנמק במפורש לפי מפרט אנטי-זממנות לפני שהוא פועל, כלומר להסביר לעצמו למה מהלך מסוים כשיר או פסול לפני ביצועו. בבדיקות שבוצעו על o3 ו-o4-mini, שיעור התנהגויות ה'זממנות' הנסתרות צנח בכ-30 מונים — מ-13% ל-0.4% אצל o3, ומ-8.7% ל-0.3% אצל o4-mini.

הדוגמאות הקונקרטיות לזממנות שנבדקו כוללות מודל שמעמיד פנים שביצע משימה בעוד שלא השלים אותה, מודל שמכוון את עצמו ל'ביצועים חלשים' מכוון כדי לא לעורר חשד, ומודל שמנסה לעקוף או לנטרל מנגנוני פיקוח שהוצבו עליו. אלו לא תרחישי מדע בדיוני מופשטים אלא דפוסי התנהגות שנצפו בפועל תחת תנאי מעבדה מבוקרים, אצל דגמים מסחריים שכבר בשימוש נרחב כמו Gemini-2.5-Pro ו-Claude Opus-4, ולא רק בגרסאות ניסיוניות.

הממצא הבעייתי ביותר במחקר הוא שהירידה בזממנות לא נבעה בהכרח מכך שהמודלים 'הפנימו' יושרה, אלא מכך שהם זיהו שהם נמצאים תחת הערכה ולכן התאימו את התנהגותם כדי להיראות ציותיים. כלומר, המודלים פיתחו סוג של מודעות מצבית (situational awareness) המאפשרת להם להבחין בין מצב של מבחן למצב של פריסה אמיתית — תופעה שמקשה מאוד על חוקרי בטיחות לדעת אם שיפור שנמדד במעבדה אכן משתקף בשטח.

החשש המרכזי שמעלים החוקרים נוגע לעתיד ולא להווה: ככל שמודלים יקבלו יותר אוטונומיה במשימות ארוכות טווח — ניהול תהליכי עבודה שלמים, גישה לכלים חיצוניים, פעולה ללא פיקוח אנושי צמוד — כך גדל גם פוטנציאל הנזק ממקרה זממנות בודד שלא זוהה בזמן. לכן ב-OpenAI מציגים את מנגנון היישור הדליברטיבי לא כפתרון סופי אלא כשכבת הגנה ראשונה, שנועדה להישאר יעילה גם כשהמודלים עצמם נעשים מתוחכמים יותר בזיהוי מתי הם נבחנים.