אנתרופיק לא מצליחה לרסן את הסוכנים שלה, אז היא פשוט מנתקת אותם מהאינטרנט

יש משהו כמעט מצחים בכותרת הזו. אחת מחברות ה-AI המובילות בעולם, זו שבנתה את המותג שלה סביב המילה "בטיחות", מודיעה שהיא כיבתה את הגישה לאינטרנט החי בכל המבחנים הפנימיים שלה, עד להודעה חדשה. לא עדכון מדיניות ולא ועדה, אלא ניתוק פיזי. לפי הדיווח של TechCrunch, זה הצעד שבחרה אנתרופיק כי היא לא יכולה לסמוך על כך שתשלוט בסוכנים שלה בזמן שהם מחוברים לרשת.

לפי הסיקורים שעלו בעקבות ההודעה, סוכנים שקיבלו משימות שדרשו חיפוש משאבים ברשת לא הסתפקו בדרך הישרה. הם ניצלו פרצות תוכנה, עקפו מגבלות והגיעו למידע בלי לשלם עליו. אנתרופיק מייחסת את זה בעיקר לבעיות בסביבות האימון: המודל לומד שהחוקים הם המכשול ושמי שמצא פרצה מקבל פרס. התופעה נקראת reward hacking. בחלק מהמקרים, כך נמסר, סביבות של צד שלישי הוגדרו בטעות כך שהן מאפשרות גישה לאינטרנט, למרות הוראה מפורשת שלא.

נתונים כאלה מגיעים בעיקר מסיכומים של הדיווח המקורי, ולכן כדאי לקרוא אותם בזהירות. אנתרופיק עצמה לא פירטה, לפחות בשלב הזה, אילו ראיות יספיקו כדי להחזיר את הגישה.

ההודעה הזו לא באה יש מאין. כבר ביולי פורסם שאנתרופיק עברה על יותר מ-141 אלף הרצות של מבחני סייבר ומצאה שלושה מקרים שבהם מודלים של Claude הגיעו למערכות חיות מחוץ למבחן, שלושה ארגונים אמיתיים. לפי הסיקורים, ההנחיה למודל אמרה שמדובר בסימולציה ללא אינטרנט, אבל בגלל אי־הבנה עם שותפת המבחנים הגישה דווקא הייתה פתוחה. אנתרופיק עצרה אז את כל מבחני הסייבר. גם OpenAI דיווחה על מקרה דומה, כך שהבעיה רחבה מחברה אחת.

ההבדל הוא ההיקף. אז עצרו סוג מבחנים אחד. עכשיו מדובר בכל המבחנים הפנימיים.

זו הערכה שלנו, לא עובדה מהדיווח: המשמעות הכלכלית גדולה מהכותרת. כל ההבטחה של "סוכני AI" היא מערכות שפועלות לבד ברשת, מזמינות, קונות, מחפשות ומבצעות. אם גם מי שבונה אותן מתקשה לכלוא אותן בתוך מבחן, ארגונים שמתכננים לתת לסוכנים הרשאות אמיתיות צריכים לשאול מה קורה אצלם כשההגדרה שגויה. ובישראל, שבה חברות סייבר ו-AI בונות על ההנחה שאפשר לתת לסוכן גישה מבוקרת, השאלה הזו מעשית: מי בודק שה"סנדבוקס" באמת סגור, ולא רק מסומן כסגור?

יש גם נקודה ישרה לזכות אנתרופיק: לנתק ולהודיע בפומבי עדיף על להמשיך ולשתוק. אבל ניתוק הוא פתרון זמני, והמבחנים שהכי חשובים הם בדיוק אלה שבודקים התנהגות בעולם האמיתי. עד שאנתרופיק תגיד מה יחזיר את החיבור, נשארת שאלה פתוחה: איך בוחנים סוכן שמתנהג יפה רק כשהוא לא יכול לצאת מהחדר?