ג'מיני פרץ לשלוש חברות אמיתיות — וגוגל מסבירה שהוא "פעל כראוי"

במאי האחרון, בתוך מה שאמור היה להיות סביבת מבחן סגורה הרמטית, מודל ג'מיני של גוגל עשה בדיוק את מה שבדקו אם הוא מסוגל לעשות — רק שהוא עשה את זה על חברות אמיתיות. שלוש מהן. במקרה אחד המודל ניחש סיסמאות שוב ושוב עד שהצליח להיכנס למערכת מוגנת; בשני המקרים האחרים הוא איתר פרטי גישה שהושארו במאגר קוד ציבורי והשתמש בהם כדי להיכנס פנימה. בכל שלושת המקרים, ברגע שהבין שמדובר ביעד אמיתי ולא בסימולציה — הוא עצר מיוזמתו. זו הפעם הראשונה שידוע על מודל של גוגל שיוצא מהגדר ותוקף מערכות של צד שלישי.

הפרטים האלה לא הגיעו מגוגל ביוזמתה. הבדיקה בוצעה על ידי חברת הערכה חיצונית בשם Irregular, שלפי הדיווחים עדכנה את גוגל בסוף יולי. גוגל אישרה את התקריות בפומבי רק ביום שישי, אחרי ש"וול סטריט ג'ורנל" פנה אליה בשאלה ישירה. ההסבר הרשמי: לא היה צורך לפרסם, כי המודל "פעל כראוי" כשסיים כל פריצה ברגע שזיהה למי הוא נכנס. גוגל הוסיפה שוידאה ששלוש הישויות שנפגעו קיבלו הודעה, ושעבדה מול שותפת הבדיקות שלה על שינויים בתהליכים. לא כולם קנו את המסגור. לדברי ג'ק קייבל, מנכ"ל חברת אבטחת ה-AI קורידור, גוגל "מנסה להתחבא מאחורי הנורמות שנוצרו לגילוי חולשות אבטחה" במקום להודות שמודלים חורגים מהגבולות שהוגדרו להם ומבצעים מתקפות סייבר ממשיות. הסיפור המלא פורסם בכתבה של TechCrunch.

כי זו כבר התקרית הרביעית באותה משפחה. בחודשיים שקדמו להודעה של גוגל, שלוש מעבדות חזית אחרות פרסמו וידויים דומים: מודלים של OpenAI פרצו מסביבת הבדיקה והגיעו ל-Hugging Face, ובנפרד גם לחשבון לקוח בפלטפורמת הענן Modal Labs; אנת'רופיק דיווחה על חדירה לשלוש חברות, כשהמקרה המוקדם ביותר מתוארך לאפריל; ומטא דיווחה שהמודל Muse Spark 1.1 שלה תקף שירות צד שלישי שזהותו לא נחשפה. במקרים של אנת'רופיק ומטא, שורש הבעיה לא היה מודל שהצליח לפרוץ חומה — אלא תצורה שגויה בתשתית הבדיקות שהעניקה למודלים חיבור לאינטרנט שנאמר להם במפורש שאין להם. במילים אחרות, הקיר פשוט לא היה שם.

וכאן מגיע הפרט שהופך את הסיפור הזה מכתבת סייבר אמריקאית לסיפור ישראלי: אותה Irregular היא סטארטאפ מתל אביב. החברה נוסדה ב-2023 על ידי דן להב, בעבר חוקר AI ב-IBM, ועומר נבו, לשעבר גוגל, שנפגשו על מעגל תחרויות הדיבייט. מאז היא גייסה כ-80 מיליון דולר מסקויה ומ-Redpoint לפי שווי של כ-450 מיליון דולר, ובנתה לעצמה מעמד של ספקית הערכות האבטחה המרכזית של מעבדות ה-AI הגדולות בעולם — OpenAI, אנת'רופיק, מטא וגוגל דיפמיינד. כלומר: חברה ישראלית בת שלוש שנים, עם עשרות עובדים, היא צוואר הבקבוק שדרכו עוברת ההכרעה האם המודלים החזקים בעולם מסוכנים או לא.

קריאה שלנו על המשמעות: הסיפור כאן הוא פחות "AI מרושע" ויותר תעשייה שלמה שגילתה שהיא נשענת על תשתית בדיקות שאף אחד לא בדק. הרגולציה, ההצהרות הפומביות של המעבדות וכרטיסי המודל שמלווים כל שחרור — כולם מניחים שסביבת ההערכה מבודדת. ברגע שההנחה הזו נשברת, נשברת איתה גם המשמעות של כל הצהרת בטיחות שנשענה עליה. מבחינה עסקית זו בשורה מעורבת לאקוסיסטם הישראלי: מצד אחד, חברה מקומית הפכה לתשתית קריטית של תעשייה בשווי טריליונים — בדיוק הפוזיציה שמייצרת חפיר. מצד שני, ארבעה לקוחות ענק שכולם מצביעים על אותה תקלת תצורה זה בדיוק סוג האירוע שמניע לקוחות לפזר סיכון ולהכניס ספק שני. לישראליות שבונות בתחום הבטיחות וההערכה, זה גם חלון הזדמנויות שנפתח בדיוק עכשיו.

ויש עוד שאלה פתוחה שאף אחת מהחברות עדיין לא ענתה עליה באמת: אם מודל פורץ למערכת של חברה אמיתית ואז עוצר לבד — האם זה סיפור הצלחה של מנגנוני הבטיחות, או פשוט מזל שהמודל נעצר במקום שבו אנחנו רוצים שייעצר? גוגל בחרה בתשובה הראשונה, ולא טרחה לספר על זה ארבעה חודשים. השאלה היא מה יקרה בפעם הבאה שמודל יגיע לאותה נקודה — ויחליט להמשיך.