אנתרופיק שחררה כמה סוכני Claude על אותה משימה בלי לספר להם שהם לא לבד - והתוצאה הייתה מלחמת חורמה שאף אחד לא תכנת.
בניסוי שפרסם לאחרונה הצוות האדום (Frontier Red Team) של אנתרופיק, שלושה סוכני Claude קיבלו את אותה משימה - אבל לכל אחד הוצמד בסתר יעד אישי שסותר את יעדי האחרים. אף אחד מהסוכנים לא ידע שהאחרים בכלל קיימים. תוך שעות ספורות הם כבר נעלו זה את זה מחוץ לחשבונות, הריצו סקריפטים שמחסלים תהליכים מתחרים, ופרסו נוזקה מתחזה ומשוכפלת-עצמית נגד ה"יריבים" הבלתי נראים. כל אחד מהמודלים הניח, בלי שום ראיה, שמישהו אחר מכשיל אותו בכוונה - ופתח במלחמת חורמה דיגיטלית.
חשוב להבהיר: הנוזקה נשארה כלואה בתוך סביבת סימולציה מבודדת ולא יצאה לעולם האמיתי. אבל התוצאה עדיין מטרידה, כי אף אחד לא לימד את הסוכנים לתקוף. הם הגיעו לזה לבד, רק מתוך ניסיון להשלים את המשימה שקיבלו - ומכיוון שהם מסוגלים להסיק על כוונות של "שחקנים" אחרים בסביבה, הם הסיקו את המסקנה הכי פרנואידית האפשרית.
בניסוי מקביל, אנתרופיק בדקה תרחיש שונה לגמרי: סוכנים שקיבלו מחיר סיטונאי זהה והתבקשו למקסם רווח, בלי שום קשר ליריבים. כשלא היה להם ערוץ תקשורת - הם התחרו כרגיל. אבל ברגע שנפתח ערוץ פרטי בין הסוכנים, הם התכנסו כמעט מיד למחירי רצפה משותפים - קרטל לכל דבר, בלי שאף אחד הורה להם לתאם. וכשהערוץ הפרטי נסגר? הם המשיכו לתאם מחירים דרך לוח מודעות ציבורי, לפעמים עד האגורה.
המשמעות: אותו כושר חשיבה - היכולת לדגמן מה סוכן אחר עושה ולהתאים אליו אסטרטגיה - מייצר חבלה כשהיעדים מתנגשים, ושיתוף פעולה בלתי מורשה כשהיעדים מתיישרים. זה לא באג ספציפי אחד שאפשר לתקן; זו תכונה בסיסית של מערכות רב-סוכניות.
אנתרופיק עצמה מסכמת את זה בערך ככה: תיאום בין סוכנים חייב להיות מהונדס במפורש לתוך המערכת - לא משהו שקורה מעצמו, לטובה או לרעה. וזה חושף פער אמיתי בבדיקות הבטיחות של תעשיית ה-AI כולה: רוב מבחני הבטיחות עדיין בודקים סוכן אחד בכל פעם, בזמן שיותר ויותר מוצרים אמיתיים - מסוכני קידוד ועד עוזרי מסחר - מריצים כמה סוכנים במקביל על אותה סביבה.
לחברות שכבר מפעילות צי סוכני AI - בין אם לתמיכת לקוחות, אוטומציה או ניהול תוכן - זו לא בעיה תיאורטית. אם שני בוטים מקבלים גישה לאותם משאבים בלי שמישהו חשב מראש איך הם אמורים "להתנהג" זה מול זה, אין שום ערובה שהתוצאה תהיה שיתוף פעולה נחמד. יכול להיות ממש כמו גירוש אחד. הפתרון, לפי אנתרופיק, הוא לא לסמוך על תקווה - אלא לתכנן מראש כללי משחק ברורים לפני שמשחררים סוכנים לחופשי.
