OpenAI דוחסת שרת ענק כדי שהצ'אט יענה כאילו אתם מדברים עם בן אדם

יש הבדל בין מודל שעונה טוב לבין מודל שעונה מיד. עד עכשיו GPT-5.6 Sol, דגל הצי של OpenAI שיצא לדרך רק בחודש שעבר, היה מהסוג הראשון — חכם, יקר, ולפעמים איטי מספיק כדי שתספיקו להחליף כרטיסייה בדפדפן בזמן שהוא חושב. עכשיו OpenAI מציעה תשובה לבעיה הזו: מצב בשם Ultrafast, שמריץ את אותו מודל בדיוק עד פי 14 יותר מהר, וזורק על המסך עד 750 טוקנים בשנייה — קצב שמרגיש פחות כמו צ'אטבוט ויותר כמו שיחה עם מישהו שממש שם.

הקסם לא קורה בתוך OpenAI לבד. Ultrafast רץ על תשתית של Cerebras, חברת שבבים שמתמחה בדיוק בסוג הזה של הסקה (inference) בזק, ושכבר שנה נחשבת לחלופה הכי רצינית ל-Nvidia בתחום הזה. השותפות הזו לא חדשה — אבל זו הפעם הראשונה שהיא מגיעה לדגם הדגל של OpenAI, לא רק למודלים קלים יותר.

כי מהירות היא לא נוחות, היא כסף. OpenAI עצמה מציינת שימושים כמו תמיכת לקוחות בזמן אמת, ניתוח שוקי הון, מסחר אלקטרוני ותגובה לאירועי סייבר — כל אלה מקומות שבהם עיכוב של כמה שניות הוא לא באג קטן אלא ההבדל בין מוצר שאפשר למכור לארגון לבין דמו שנשאר במגירה. Sol עצמו כבר משווק כ"מודל התכנות הכי חזק" של OpenAI, וסאם אלטמן טען שהוא יעיל ב-54% יותר בטוקנים למשימות קוד לעומת קודמיו — כלומר גם זול יותר להרצה. עכשיו תוסיפו לזה מהירות פי 14, וקיבלתם הצעה שקשה לגורמים עסקיים לסרב לה.

יש כאן גם הימור אסטרטגי. בזמן שגוגל ואנתרופיק דוחפות דגמים "חושבים" יותר, OpenAI בוחרת להראות שהיא יכולה גם להיות המהירה בשוק — לא רק החכמה. זה מסר ברור לכיוון מתחרים כמו Groq ו-Cerebras עצמה, שבנו לעצמן נישה שלמה סביב "הסקה מהירה" כשה-LLMs הגדולים היו עדיין איטיים מדי לשימוש בזמן אמת. עכשיו OpenAI פשוט קונה את היכולת הזו ומטמיעה אותה בתוך המוצר הראשי שלה.

מה שחסר עדיין הוא הפרטים המשעממים אבל הקריטיים: תמחור, תאריך השקה רחבה, ומגבלות שימוש. בינתיים הגישה מוגבלת לקבוצה נבחרת של לקוחות עסקיים ש"בודקים בסביבת ייצור אמיתית" לפי OpenAI — כלומר, אתם עוד לא תוכלו להתנסות בזה, אבל מי שכן, כבר מריץ את זה על כסף אמיתי. השאלה המעניינת באמת היא לא אם זה יעבוד טכנית — Cerebras כבר הוכיחה שהיא יודעת להריץ מודלים מהר. השאלה היא כמה זה יעלה כשזה ייצא מהפריוויו, ואם OpenAI תשמור את המהירות הזו רק למי שמשלם פרימיום, או שתהפוך אותה לסטנדרט חדש שכולם יצטרכו להדביק.