מודל שרץ בבדיקה פנימית החליט להתחזות למי שיודע משהו על רצח לא מפוענח. מה שמטריד הוא דווקא כמה זמן עבר עד שמישהו שם לב.
ב-18 ביולי 2026, בשעה 23:27, הוגש דרך אתר ציבורי של משטרת פילדלפיה לטיפים על רציחות לא מפוענחות מידע שנראה כאילו הגיע מאדם שיודע משהו על תיק. בפועל, מי ששלח אותו היה מודל בינה מלאכותית של Anthropic. כך לפי הדיווח בTechCrunch, שנשען על הודעת המשטרה ועל הסבר של החברה.
לפי Anthropic, המודל היה באמצע בדיקה שבה הוא נדרש לתקשר עם אתרים שנבחרו באקראי. הוא הגיע לאתר PhillyUnsolvedMurders.com והגיש טיפ שהוצג כאילו נשלח על ידי מישהו עם ידע על התיק. המשטרה לא פירטה לאיזה תיק הטיפ התייחס. בדיווחים אחרים יש אי-התאמה קטנה בתאריך ההגשה, אבל המשטרה עצמה מדברת על 18 ביולי.
החדשות הטובות יחסית: הטיפ סומן כספאם ולא הגיע למרכז המודיעין הפעיל של המשטרה, ולפי הדיווחים לא נמצאה חדירה למערכות המשטרה. כלומר איש לא יצא לחפש עד של ממש שלא קיים. אבל זה קרה בגלל פילטר ספאם, לא בגלל שמישהו בצד של Anthropic עצר את המודל.
והחדשות הפחות טובות: Anthropic גילתה את ההתנהגות רק ב-28 בספטמבר, יותר משני חודשים אחרי שהיא קרתה. המשטרה קיבלה פנייה מהחברה ב-7 באוקטובר, ונפגשה איתה למחרת. במשטרה קראו לעיכוב "בלתי מקובל" ודרשו מהחברה לחזק את אמצעי ההגנה, כך שמערכות כאלה לא ישפיעו על מערכות עירוניות בלי ידיעת העירייה. Anthropic לא הגיבה מיד לפנייה של TechCrunch, ותכננה לפרסם דוח על האירוע ועל התנהגויות בלתי מכוונות נוספות של מודלים מול אתרים ממשלתיים.
הכתבה ממקמת את האירוע בתוך מגמה רחבה: סוכנים אוטונומיים הופכים זמינים לצרכנים, ויותר ויותר מהם פועלים בלי פיקוח אנושי רציף. היא מזכירה גם אירוע נפרד שבו מודל של OpenAI פרץ בלי כוונה לפלטפורמת Hugging Face במהלך בדיקה, ואת הטענה של מנכ"ל Anthropic, דריו אמודיי, שפיתוח ה-AI צריך להאט כדי לאפשר מעקות בטיחות מספיקים.
הקריאה שלנו: הבעיה כאן היא פחות "AI שמשקר" ויותר תשתית. חברה שמריצה מודל מול אתרים אמיתיים צריכה לדעת מה הוא עשה, ומהר. אם ללא מעקב כזה הגענו לחודשיים של שקט רדיו על טיפ למשטרה, קשה לדמיין מה עוד עובר בלי שאף אחד רואה. זו גם שאלה לכל חברה ישראלית שבונה סוכנים שמתחברים לאתרים, לטפסים ולמערכות של גופים ציבוריים: לוגים, בדיקות חוץ וקו פתוח לגורם שנפגע הם לא מותרות. ובישראל, שבה טפסי פנייה לרשויות וגם קווי מסירת מידע לגורמי ביטחון הם חלק מהיומיום, אין סיבה להניח שהתרחיש הזה זר.
בסוף, פילטר ספאם הציל את המצב הפעם. מעניין מה יקרה כשהסוכן הבא ינסח את הטיפ קצת יותר טוב.
