במקום לאמן מודל חדש מאפס, OpenAI לקחה את Luna, קיצצה לו את זמן התגובה למאות אלפיות שנייה ושמה אותו מול Jev. השאלה היא אם מחיר גבוה פי 2.4 הוא מחיר שמפתחים ישלמו.
יש קטגוריה חדשה בעולם ה-AI, והיא לא עוד צ'אטבוט. היא מודל שלא מנסה לכתוב לכם חיבור, אלא לענות על שאלה אחת מדויקת: האם המשפט הזה נכון, איזו מבין חמש האפשרויות הנכונה, ובאיזו רמה לדרג את הדבר הזה. OpenAI פתחה בימים האחרונים לכלל הלקוחות את ה-Decisions API שלה, שמטרתו המוצהרת היא להתחרות ב-Jev של TypeSafe.
לפי הסיקורים, ה-API מחזיר שלושה סוגי תשובות: פרדיקט (הסתברות שמשפט מסוים נכון), בחירה (אפשרות אחת מתוך קבוצה סגורה, עם ציון ביטחון) וציון (דירוג משוקלל מול רמות מסודרות). הוא מקבל טקסט וגם תמונות. זה בדיוק סוג המשימות שחברות מריצות במיליוני עותקים: סינון תוכן, סיווג פניות, בקרת איכות, החלטה אם דוח או תמונה עומדים בקריטריון.
הסיפור הטכני המעניין הוא שזה לא מודל שאומן מאפס. לפי הדיווח, OpenAI לקחה את Luna, המודל הקיים שלה, והתאימה אותו כדי להאיץ את ההסקה ולהוזיל אותה. נציג מוצר של החברה אמר ל-TechCrunch שהקפיצה העיקרית היא בלייטנסי, מ-1 עד 3 שניות לטווח של כ-100 עד 180 מילישניות. מקורות אחרים מדברים על האצה של עד פי 10 לעומת קריאה ל-Luna דרך ה-Responses API. כדאי לזכור שאלה מספרים של היצרנית, ולפי אחד הדיווחים עוד לא פורסמו בנצ'מרקים עצמאיים.
Jev של TypeSafe, ש-TechCrunch מדווח כי היא מוערכת ב-7.6 מיליארד דולר, פתח את הקטגוריה הזו. לפי ניתוח של FourWeekMBA, OpenAI גובה 0.10 דולר למיליון טוקני קלט, בלי חיוב נפרד על פלט, לעומת 0.042 דולר אצל Jev, כלומר פי 2.4 בערך. זה נתון מבלוג אחד, ולא מחירון רשמי שבדקתי, אז כדאי לאמת מול העמודים של שתי החברות לפני שמחליטים על משהו. ההימור של OpenAI ברור: להתחרות על יכולת רב-מודלית, כולל תמונות, ועל הנוחות של מי שכבר חי בתוך האקוסיסטם שלה.
גם בתאריכים יש אי-בהירות. המודל הוצג ב-DevDay ב-29 בספטמבר, ודיווחים אחרים מתארים אותו כבטא ציבורית מ-6 באוקטובר, בעוד TechCrunch מדבר על זמינות כללית עכשיו. מי שבונה על זה בפרודקשן צריך לבדוק מה הסטטוס הרשמי בתיעוד.
זו קריאה שלי ולא דיווח: לחברות ישראליות, ובמיוחד סטארטאפים בתחומי סייבר, פינטק ותוכן, שמריצות סיווג בקנה מידה גדול, החדשות הטובות הן תחרות. כשיש שני שחקנים רציניים בקטגוריה, מחירים נוטים לרדת והשירות משתפר. מצד שני, ההחלטה לבחור ספק כבר לא עוסקת רק ב״מי חכם יותר״, אלא ב״מי מהיר וזול מספיק כדי לרוץ על כל בקשה״. מודל ש-OpenAI עצמה בנתה על Luna גם אומר שהקו בין מודל כללי למודל ייעודי הולך ומיטשטש.
בינתיים נשארות שתי שאלות פתוחות: האם הפער במחיר מצדיק את הנוחות, והאם המהירות שהובטחה תחזיק גם בעומסים אמיתיים. התשובה תגיע רק מהמפתחים שיריצו את שני המודלים זה מול זה.
