שילמתם על מודל AI יקר. אנתרופיק רוצה שתוכלו להוכיח שהוא באמת ענה

כשאתם בוחרים מודל AI, השם שמופיע בממשק הוא חלק מהעסקה. אם בחרתם מודל יקר למשימת תכנות מורכבת, סביר שאתם מצפים לקבל דווקא אותו. אלא שתשובה משכנעת אינה קבלה על מה שהתרחש בשרת: מהטקסט לבדו קשה לדעת איזה מודל עומד מאחוריו. אנתרופיק מנסה להפוך את השאלה הזאת לעניין שאפשר לבדוק מתמטית. החברה פרסמה ב־2 בנובמבר את FlashProve, אבטיפוס מחקרי להוכחת חישובי מודלים. כפי שדווח ב־TechCrunch, אין כרגע תוכניות לפרוס אותו באנתרופיק או במעבדה אחרת. כלומר, יש כאן מחקר וקוד, ועדיין אין כפתור חדש שבאמצעותו תוכלו לבדוק את השיחה הבאה שלכם עם Claude.

הרעיון הוא לתת לתשובה מעין אסמכתה חישובית. ספק המודל מפרסם מראש התחייבות קריפטוגרפית למשקולות מסוימות — המספרים שמגדירים את פעולת המודל — ובהמשך מייצר הוכחה שהפלט תואם לחישוב שלהן. המשתמש יכול לבדוק את ההוכחה בלי לקבל את המשקולות עצמן. מאגר הקוד הרשמי מתאר תהליך של התחייבות, יצירת הוכחה ואימות, ומדגיש שמזהה ההתחייבות צריך להגיע מגורם שהבודק סומך עליו, ולא מהשרת שנבדק. זה פרט משמעותי: גם הוכחה תקינה צריכה נקודת ייחוס אמינה. אחרת אפשר להוכיח חישוב של מודל כלשהו, בלי לבסס שזה המודל שהלקוח התכוון להזמין. ההבטחה המסחרית היא יכולת לבדוק התאמה למודל שהובטח, בלי לחייב את הספק לחשוף את נכסיו הסודיים.

ההבחנה הזאת חשובה גם להבנת מה שהמערכת אינה מבטיחה. הוכחה שמודל מסוים הפיק תשובה אינה תעודת אחריות לתוכן שלה: אותו מודל יכול לטעות, להחמיץ חולשת אבטחה או להציע ניתוח עסקי גרוע. היא גם אינה אומרת שהלקוח בחר מלכתחילה את המודל המתאים למשימה. הערך הוא בצמצום שאלה אחרת, בסיסית יותר: האם השירות שסופק תואם לזה שתואר. מבחינה כלכלית, זו יכולה להיות הפרדה שימושית בין איכות התוצאה לבין עמידה בתנאי העסקה. לקוח עשוי להיות מרוצה מתשובה של מודל זול, ועדיין לרצות לדעת מדוע חויב על מודל יקר. זו אינה טענה שספק מסוים מבצע החלפה כזאת, אלא הסבר לצורך שאימות עצמאי עשוי לשרת.

המרחק ממחקר לשירות יומיומי מתגלה במספרים. לפי המדידות שפרסמה אנתרופיק, הניסוי נערך על Llama 4 Maverick של מטא, בעל 400 מיליארד פרמטרים, בגרסת משקולות של 4 ביט. החברה מדווחת על קצב הוכחה של כ־110 טוקנים בשנייה באמצעות מאיץ H100 יחיד, אך גם על צריכת זמן GPU גבוהה בערך פי 70–95 בהשוואה לחישוב הרגיל שנמדד באמצעות vLLM. אלה מדידות החברה ובתנאי ההשוואה שלה, ולא מכפיל שאפשר להעתיק ישירות לחשבון הלקוח. גם הכיסוי מוגבל: ההקשר הנתמך הוא עד 1,024 טוקנים, וההוכחה מתייחסת לגרסה חישובית בשלמים ולבחירת הטוקן המועדף בכל צעד. מימוש אחר או דגימה עשויים לסטות ממנה. נוסף על כך, החברה אינה מבטיחה התאמה מלאה בין הפרוטוקול שאומת פורמלית לבין הקוד המהיר. המאגר עצמו מסומן כאבטיפוס שאינו מתוחזק.

לקורא הישראלי, ובמיוחד למי שרוכש AI עבור ארגון, המשמעות המעניינת היא אפשרות עתידית לשנות את שיחת הרכש. בניתוח שלנו, חברה מקומית שמקבלת שירות דרך מתווך תוכל להרוויח מהפרדה בין ההבטחה השיווקית לבין ראיה טכנית לזהות המודל. למשל, בתרחיש שבו ספק מציע בדיקת קוד באמצעות מודל מסוים, הוכחה מתאימה עשויה לסייע לבסס שהחישוב המוצהר אכן תואם לאותו מודל. היא עדיין לא תוכיח שהקוד בטוח, שהמידע נשמר כנדרש או שהבדיקה הייתה מספקת. לכן סעיף עתידי בחוזה יצטרך להגדיר בדיוק מה נבדק: איזו גרסה, על איזה קלט, ובאיזה היקף. המילה ״מאומת״ לבדה עלולה להפוך לעוד הבטחה עמומה, דווקא בשוק שמנסה להשתחרר מהן.

העלות גם מחדדת היכן עשוי להיות היגיון כלכלי לשימוש ראשון. כהערכה, קל יותר להצדיק הוכחה יקרה לבדיקה נקודתית בעלת ערך גבוה מאשר לכל בקשת ניסוח קצרה. ארגון שירצה יכולת כזאת יצטרך לשקול מי משלם על יצירת ההוכחות, מי שומר אותן ומי אחראי לאימות. אלה אינן שאלות שנפתרות באמצעות פרסום קוד בלבד. לצד זאת, עצם האפשרות להפריד בין סודיות המודל לבין בדיקת החישוב מציעה כיוון מעניין לשוק: שקיפות אינה חייבת לדרוש פתיחה מלאה של הטכנולוגיה. FlashProve עדיין רחוקה מהפיכת האפשרות הזאת לשגרה מסחרית. המבחן הבא יהיה להוכיח שגם את האמון אפשר לספק במחיר שמישהו מוכן לשלם.