העלאת התמונות לא נבעה מפריצה של האקרים. היא התגלתה בבדיקה פנימית שנפתחה אחרי הפרשה של Hugging Face, וזה לא בדיוק מרגיע.
יש משפט שאף חברת AI לא רוצה לכתוב בהודעה לעיתונות: "הסוכנים שלנו עשו משהו ולא ידענו על זה". OpenAI נאלצה לכתוב אותו כבר בפעם השנייה בתוך חודשיים. לפי הדיווח ב-TechCrunch, החברה מצאה 53 מקרים שבהם סוכני AI בסביבת המחקר שלה העלו לאתרי אחסון תמונות ציבוריים תמונות שמשתמשים העלו ל-ChatGPT. החברה עצמה לא ידעה על כך בזמן אמת.
לפי OpenAI, התמונות הגיעו מחשבונות של משתמשים שהסכימו שהמידע שלהם ישמש לשיפור המודלים. לפני שהתמונות הגיעו לסביבת המחקר, הן נותקו מהחשבונות שמהם הגיעו ועברו מסנן פרטיות. הסוכנים שלפו אותן מתוך נתוני האימון של החברה והעלו אותן לאתרי אחסון חיצוניים כקישורים לא רשומים, כלומר לא גלויים בחיפוש אבל נגישים לכל מי שמחזיק בקישור. OpenAI אומרת שפעלה מול ספקי האחסון והסירה את רוב התמונות, וממשיכה לטפל בשאר. בפועל חלק מהתמונות עדיין ברשת. לדברי החברה, כל המקרים קרו לפני שהוכנסו אמצעי אבטחה נוספים לסביבת המחקר באוגוסט. עוד היא מדגישה שמידע של לקוחות עסקיים וארגוניים לא נכלל באימון כברירת מחדל, אלא אם מנהל המערכת בחר אחרת.
הסיפור הזה לא עומד לבד. ביולי חשפה OpenAI שסוכנים שהריצה במבחן סייבר פנימי בשם ExploitGym, ביניהם GPT-5.6 Sol ומודל מחקר פנימי חזק ממנו, ברחו מסביבת הבדיקה המבודדת. לפי הדיווחים הם ניצלו חולשה שלא הייתה ידועה עד אז במופע פנימי של JFrog Artifactory, מערכת לניהול חבילות תוכנה, דרכו יצאו לאינטרנט הפתוח ופרצו לתשתית הייצור של Hugging Face. המטרה, כך נטען, הייתה להשיג את התשובות למבחן. המבחן הורץ כשמסווגי הבטיחות של החברה כבויים, כדי למדוד את היכולת המרבית של המודלים. בדיקה פנימית רחבה נפתחה בעקבות האירוע, ומתוכה עלו גם התמונות. OpenAI מסרה שהודיעה לעשרות גורמים חיצוניים על מקרים שבהם המודלים שלה עקפו מנגנוני אבטחה או השתמשו באתרים בדרכים לא מתוכננות. ב-Fortune דיווחו, בהסתמך על הניו יורק טיימס ועל מחקר של חברת Parse, שהסוכנים יצרו ביולי כמעט מיליון קישורים מקוצרים. בקישורים היו מקודדות פיסות מידע, שחוברו יחד יכלו לתפקד כתוכנה שנועדה לעזור לעקוף מנגנוני Captcha. לפי החברה, הבירור המלא עשוי להימשך חודשים.
הנקודה המטרידה היא לא 53 התמונות, שנותקו מהחשבונות ועברו סינון, אלא הדרך שבה התגלו. אף אחד לא תפס את הסוכנים באמצע העבודה. OpenAI גילתה את זה בדיעבד, כשחיפשה ביומנים מה עוד השתבש. חברות רבות מכניסות היום סוכנים אוטונומיים עם גישה לאינטרנט, לקוד ולמידע רגיש, והמסקנה מכאן פשוטה: גם במעבדה המתקדמת בעולם לא בהכרח יודעים בזמן אמת מה הסוכן עושה עם המידע שיש לו. יש כאן גם חיבור ישראלי: JFrog, שדרך המערכת שלה פרצו הסוכנים לפי הדיווחים, היא חברה שנולדה בישראל. זה מזכיר שמערכות תשתית שנבנו בשביל מפתחים אנושיים הופכות לנקודות תורפה כשהמשתמש הוא מודל שמחפש בעקשנות כל סדק. למשתמשים ישראלים יש גם מסקנה מעשית אחת: ההגדרות של ChatGPT כוללות אפשרות לבטל את השימוש בשיחות שלכם לשיפור המודל. מי שמעלה לצ'אט צילומי מסמכים, תמונות של הילדים או צילומי מסך מהבנק צריך להחליט עכשיו אם הוא רוצה שהם יגיעו לנתוני האימון.
OpenAI מציגה את הגילוי כחלק מתהליך של שקיפות, ובצדק מגיע לה קרדיט על כך שפרסמה אותו. אבל גם שקיפות לא מחזירה תמונה שכבר עלתה לרשת. אם הבירור באמת יימשך חודשים, קשה להניח ש-53 התמונות הן הממצא האחרון.
