סטארטאפ אמריקאי בונה מודל דגל על גבי מודל סיני קוד-פתוח, ומוכיח שהקרב הבא ב-AI ארגוני הוא לא על החוכמה — הוא על מחיר הטוקן.
🔗 קישור למוצר: Palmyra X6 (Writer)
יש בשוק ה-AI הארגוני הנחה שקטה: אם רוצים ביצועים ברמת החוד, צריך לשלם מחיר חוד. Writer, סטארטאפ אמריקאי שמתמחה בפלטפורמות AI לתאגידים, מנסה לפרק את ההנחה הזו. החברה הכריזה השבוע על Palmyra X6, מודל דגל חדש שלטענתה משיג ציון ממוצע של 0.87 בתשעה מבחני יכולת מובילים — קצת מעל ה-0.86 של Claude Opus 4.8 של אנתרופיק. ההבדל האמיתי הוא לא בניקוד, אלא במחיר: X6 עולה 2 דולר למיליון טוקני קלט ו-8 דולר למיליון טוקני פלט, לעומת 15 ו-75 דולר בהתאמה אצל Opus. זה לא שיפור הדרגתי, זו סדר גודל שונה לגמרי.
המהלך המעניין מבחינה טכנית הוא איך Writer הגיעה לשם. במקום לאמן מודל מאפס — תהליך שעולה מאות מיליוני דולרים לחברות הגדולות — היא בנתה את X6 כגרסת פוסט-טריינינג על בסיס GLM-5.2, המודל הקוד-פתוח של החברה הסינית Z.ai. במילים אחרות: Writer לקחה מודל בסיס חינמי וזמין לכולם, השקיעה את המשאבים בכיוונון ובאופטימיזציה, ויצאה עם משהו שמתחרה במעבדות שהוציאו על אימון בסיס סכומים שWriter כלל לא הוציאה. זה בדיוק הדפוס שמדאיג את הלאבים הגדולים בחודשים האחרונים — קוד פתוח סיני כמנוע זול לבניית מוצרים מסחריים מערביים.
החלק שפחות מדובר עליו בכותרות הוא השדרוג ל'הרתמה' (harness) — שכבת התזמור שמנהלת איך הסוכנים של Writer קוראים לכלים, מתכננים צעדים ומחליטים מתי לעצור. לפי הנתונים שהחברה פרסמה, שינויים בהרתמה בלבד — בלי לגעת במודל עצמו — קיצצו את העלות הכוללת למשימה ב-41% על פני כל המודלים שנבדקו, וצריכת הטוקנים הממוצעת למשימה ירדה מ-14.2 אלף ל-8.8 אלף, ירידה של כ-38%. כשמשלבים את זה עם X6, Writer מדווחת על ירידה כוללת של 52% בעלות, 48% שיפור במהירות ו-10% שיפור באיכות. המשימות מסתיימות בזמן ממוצע של 26 שניות, והמערכת מתוכננת לעבוד ללא השגחה על משימה בודדת עד שמונה שעות רצופות.
העניין העסקי כאן ברור: חברות שמריצות סוכני AI על עבודות שיווק, מחקר ומכירות מרובות-שלבים מגלות שהחשבון בסוף החודש תלוי הרבה פחות ב'איזה מודל הכי חכם' והרבה יותר ב'כמה טוקנים נצרכים כדי לגמור משימה'. סוכן שצריך שבעה סבבי קריאה לכלים כדי להשלים בריף שיווקי עולה פי כמה מסוכן שעושה את זה בשלושה — גם אם שני הסוכנים רצים על אותו מודל בדיוק. Writer הוסיפה גם כלי ניהול חדשים שמאפשרים למנהלי IT ארגוניים לעקוב אחרי צריכת טוקנים בזמן אמת ולהגביל תקציבים לפי צוות, בדיוק בגלל שהבעיה הזו הפכה לכאב ראש תקציבי אמיתי.
השורה התחתונה: זה לא סיפור על עוד מודל שמנצח בבנצ'מארק אחד. זה סימן לכיוון שבו כל ההתחרות בעולם ה-AI הארגוני עוברת — לא מי בונה את המוח החכם ביותר, אלא מי בונה את השרירים היעילים ביותר סביבו. אנתרופיק, OpenAI וגוגל עדיין מובילות ביכולות גולמיות, אבל אם חברות כמו Writer יכולות לקנות בסיס טוב מספיק בקוד פתוח ולהתמקד רק בהנדסת התזמור, מודל התמחור של הענקיות עומד בפני לחץ אמיתי. מעניין יהיה לראות אם התגובה שלהן תהיה הורדת מחירים — או פשוט התעלמות, כרגיל.
