חברה שמוכרת "בטיחות" כיתרון תחרותי מוכנה עכשיו שמישהו מבחוץ יפרסם מה הוא מצא אצלה, גם אם זה לא יחמיא.
בחברות AI גדולות יש הרבה מאוד "אנחנו לוקחים בטיחות ברצינות", ומעט מאוד פעמים שבהן מישהו מבחוץ באמת נכנס פנימה ויכול לספר מה ראה. אנתרופיק הודיעה השבוע על צעד שמנסה לשנות את זה: לפי הדיווח ב-TechCrunch, חוקרים מארגון METR, גוף שמתמחה בהערכת סיכונים של מודלי AI, יקבלו גישה ברמת עובדים.
לפי הפרסום של אנתרופיק והסיקור שלו, שישה אנשי METR עברו תהליך קליטה והוצבו עם ציוד של החברה, מקום במשרדים וגישה לכלים ולמערכות פנימיות ברמה דומה לזו שיש לצוותי הערכת הסיכונים של אנתרופיק עצמה. ההסדר מתנהל במסגרת הסכמים מחייבים, ושאר אנשי METR מופרדים מהעבודה הזו. מדובר אפוא בצוות קטן, לא בפתיחת הדלתות לכל מי שרוצה.
החלק המעניין באמת הוא הפרסום. METR תפרסם הערכות משלה על הסיכונים, האירועים והפרקטיקות של אנתרופיק. לפי הדיווחים, ובהם סיקור של רויטרס, אין צורך באישור מראש: אנתרופיק יכולה לבקש הסתרות, אבל אלה מוגבלות לתחומים כמו מידע על לקוחות, מידע חסוי משפטית ופרטים מסוימים על ארכיטקטורת המודלים. החברה ויתרה על הזכות לחסום את הפרסום, וזה ההבדל בין ביקורת אמיתית לבין סבב יחסי ציבור.
ההקשר לא מקרי. אנתרופיק פרסמה לאחרונה הערכה של אירועים שבהם מודלי Claude קיבלו גישה לא מורשית למערכות אמיתיות, אחרי שהערכות סייבר של צד שלישי חוברו בטעות לאינטרנט. METR תערוך גם חקירה עצמאית של האירועים האלה, עם גישה לתמלולים שמעבר לחלון האירוע ולעובדים שיכולים לשתף מידע רגיש. ההסכם הראשוני עומד על שמונה שבועות, ואנתרופיק אומרת שתיתן ל-METR זמן נוסף אם תצטרך. דיווחים משניים מדברים על ארבעה אירועים כאלה, אך מקורות אלה פחות אמינים, ולכן כדאי להמתין לדוח עצמו.
לפי הדיווח, METR היא כרגע המעריכה היחידה בדרג העליון של מערך מעריכים תלת־שכבתי שאנתרופיק מתכננת, וגופים אחרים, כמו SecureBio, יקבלו בדיקות צרות יותר.
זו ניתוח שלנו, לא עובדה מהדיווח. ישראל היא כבר לקוחה גדולה של מודלים כאלה: סטארט־אפים, בנקים וארגוני ביטחון בונים מוצרים על Claude ודומיו. מי שמטמיע מודל בתהליך עסקי רגיש צריך לדעת איך הספק מתנהג כשמשהו משתבש, ודוח של גורם חיצוני עם גישה אמיתית שווה הרבה יותר מעמוד שיווקי. גם רגולטורים, באירופה ואצלנו, מחפשים מודל לפיקוח שאינו מסתמך רק על הצהרות של החברות. ייתכן שזה אחד מהם.
כמובן, יש גם הסתייגות. מבקרים בפורומים כמו LessWrong טוענים שאנתרופיק עדיין שולטת בגבולות ההסדר, וש"גישה כמו של עובדים" היא לא בהכרח גישה מלאה. אנחנו לא יכולים לאמת את זה, וגם לא את ניסוח ההבטחות המקוריות. המבחן יהיה הדוח הראשון: אם הוא יכלול משהו שאנתרופיק לא הייתה שמחה לראות מתפרסם, נדע שהמנגנון עובד. אם לא, נשאר לשאול אם לא מצאו כלום, או שלא הורשו לראות.
