המודל החכם ביותר לא תמיד מנצח. לפעמים צריך מודל שעונה "כן" או "לא" ב-150 מילישניות, ולא גובה על זה הון.
לפני שבועיים כמעט אף אחד לא שמע על TypeSafe AI. ב-15 בספטמבר יצא מהחשאיות הסטארטאפ מסן פרנסיסקו, שהקים דיוגו אלמיידה, מהכותבים של מאמר InstructGPT שהוביל ל-ChatGPT. הוא השיק מודל בשם Jev, שבכוונה לא יודע לכתוב מאמרים, קוד או שירים. הוא עושה דבר אחד: מקבל שאלה ורשימת תשובות אפשריות, ומחזיר תשובה אחת עם הסתברות. כן או לא, אפשרות מתוך רשימה או ציון על סקאלה. לפי החברה רוב הקריאות נגמרות בתוך כ-100 מילישניות, והמחיר הוא 42 דולר למיליארד טוקנים של קלט. שבועיים אחר כך כבר יש לו עותק, ואת העותק הוציאה OpenAI.
ב-DevDay השנתי של החברה, ב-29 בספטמבר, הוצג Decisions API, שעדיין נמצא בגישה מוקדמת ומוגבלת. המפתח מגדיר שאלה ותשובות אפשריות ושולח טקסט או תמונה. גרסה ייעודית של GPT-6 Luna מחזירה בחירה אחת, בלי טקסט חופשי. לפי OpenAI התשובה מגיעה תוך כ-150 מילישניות, לעומת כ-1.6 שניות בקריאה רגילה ל-Luna, כלומר פי עשרה מהר יותר. השימושים שהחברה מציגה הם סיווג תוכן, ניתוב פניות (מכירות או שירות לקוחות, למשל) והחלטה על הצעד הבא של סוכן AI, כמו איזה כלי להפעיל עכשיו. ב-TechCrunch לא ייפו את זה וקראו לו פשוט "שיבוט של Jev".
כאן נמצא החלק המעניין. TechCrunch מזכירים שאחד מצעדי הבטיחות של OpenAI, אחרי מקרים שבהם הסוכנים שלה התנהגו לא כמו שצריך ברשת הפתוחה, הוא להפעיל מודל נפרד שבודק את הפעולות שלהם. הבעיה היא שכוח חישוב כזה עולה הרבה כסף. בהאקתון שנערך לאחרונה בנו משתתפים מערכת שבה Jev בודק כל פעולה של סוכן מול המשימה שקיבל. פעולה שהוא בטוח שהיא בעייתית נחסמת, פעולה מפוקפקת עוברת לבדיקה אנושית, וכל השאר מאושר. העלות של הפיקוח הזה עם Jev הייתה 2.94 דולר, לעומת 372 דולר עם מודל שפה מהשורה הראשונה. כשמדובר בנחילים של סוכנים שמבצעים אלפי פעולות בדקה, זה ההבדל בין פיקוח על כל פעולה לבין בדיקה מדגמית מדי פעם.
OpenAI לא מגיעה לזה במקרה. באותו אירוע היא גם פתחה לבטא ציבורית את Agents API, עם הרצה מנוהלת, זיכרון, כלים ותמיכה בכמה סוכנים במקביל. הוצגו גם Dots, סוכנים אישיים שפועלים כל הזמן. חברה שמוציאה לעולם כל כך הרבה סוכנים אוטונומיים צריכה גם מנגנון בלימה זול ומהיר, וכנראה עדיף לה שהוא יהיה שלה ולא של מתחרה.
ניתוח קצר: בשלוש השנים האחרונות התעשייה מדדה את עצמה לפי המודל הכי חכם. Jev ו-Decisions API מראים כיוון אחר. ברוב המערכות, רוב הקריאות למודל הן החלטות קטנות ומשעממות: לאן לנתב, האם זה ספאם, האם הפעולה הזאת בסדר. כשמריצים מודל ענק על כל החלטה כזו, משלמים מחיר מלא על עבודה פשוטה. לחברות ישראליות שבונות מוצרי AI, ובמיוחד לתעשיית הסייבר המקומית, שכבר מתמקדת באבטחת סוכנים, יש כאן שתי משמעויות. הטובה היא שפיקוח רציף על סוכנים הופך לכדאי כלכלית, ולא רק למשהו שנכנס למצגת. הפחות טובה היא שמי שבנה מוצר שלם סביב "שכבת החלטה" זולה מגלה ש-OpenAI מוכנה להיכנס לתחום הזה תוך שבועיים.
גם TypeSafe לא נראית כמי שנפגעה. לפי דיווחים, אחרי השקת Jev החברה כבר מקבלת הצעות השקעה לפי שווי של 10 מיליארד דולר ומעלה, כשלפני כשנה גייסה 40 מיליון דולר לפי שווי של 200 מיליון. נראה שגם השוק וגם OpenAI הבינו שההחלטות הקטנות שמערכות AI מקבלות כל הזמן הן תחום שווה הרבה כסף. מה שעוד לא ברור הוא מה קורה כשמודל מהיר וזול צריך לעצור סוכן ובפעם הזאת מחליט לא נכון.
