מודל של 30 מיליארד פרמטרים שרץ מהזיכרון הפלאש של הטלפון, בלי שרת בצד השני. אם זה עובד כמו שקוואלקום מבטיחה, חלק מהחשבון החודשי שלכם לענן מתחיל להיראות מיותר.
קוואלקום עלתה השבוע לבמה במאווי, הוואי, ועשתה משהו שהיא נמנעה ממנו שנים: היא פיצלה את שבב הדגל שלה לשניים. במקום מוצר עליון אחד שנכנס לכל טלפון פרימיום, הכנס השנתי Snapdragon Summit הציג את Snapdragon 8 Elite Gen 6 לצד אח בכיר יותר בשם Snapdragon 8 Elite Extreme Gen 6. שני השבבים בנויים בתהליך ייצור של 2 ננומטר, שניהם עם מעבד Oryon בן שמונה ליבות — שתי ליבות Prime במהירות של עד 5 גיגהרץ ושש ליבות ביצועים ב-4 גיגהרץ, לצד 16 מגה-בייט של Oryon Flex Cache חדש. על הנייר, אלה השבבים הניידים הראשונים שעוברים את רף חמשת הגיגהרץ.
אבל המהירות היא לא הסיפור, והיא גם לא מה שמפריד בין שתי הרמות. ההפרדה מתרחשת בזיכרון. מנוע ה-NPU מסוג Hexagon עבר תכנון מחדש עם רכיב בשם Element Accelerator ושיטת עיבוד שקוואלקום מכנה micro-tile inferencing, ומביא לפי החברה שיפור של 35% בביצועים ו-33% ביחס ביצועים-לוואט מול הדור הקודם. הגרסה Extreme מקבלת בנוסף 50% יותר זיכרון משותף, וזה בדיוק מה שמאפשר לה את ההצהרה הכי מעניינת של האירוע. כפי שדיווח TechCrunch מהכנס, השבב העליון אמור להריץ מקומית מודלי Mixture-of-Experts בגודל של יותר מ-30 מיליארד פרמטרים.
כאן חשוב לא להתלהב יותר מדי. ארכיטקטורת MoE לא מפעילה את כל המודל בכל פעולה — היא מנתבת כל משימה לתת-קבוצה של "מומחים", כך שרק חלק מהפרמטרים באמת נטענים ומחושבים ברגע נתון. זה בדיוק מה שהופך את הדבר הזה לאפשרי בטלפון: לפי קוואלקום, המודל רץ ישירות מהזיכרון הפלאש של המכשיר, בלי הצורך להכניס 30 מיליארד פרמטרים ל-RAM. השבב תומך בחלון הקשר של עד 32 אלף טוקנים, ומהירות שלב ה-prefill — הרגע שבו המודל "קורא" את מה שהזנתם לו — משתפרת בעד 80% במודלים נבחרים. קוואלקום אף נקבה במספר שקל לזכור: עד מיליון טוקנים ביום על המכשיר עצמו, בלי לשרוף את הסוללה.
ניתוח קצר: המספרים האלה הם, בסופו של דבר, מספרי עלות. סטארטאפ ישראלי שבונה היום אפליקציה מבוססת מודל שפה משלם על כל טוקן — פעמיים. פעם אחת לספק ה-API, ופעם שנייה במטבע פחות נראה לעין: זמן תגובה, תלות בקישוריות, והצורך לשלוח נתוני משתמש לשרת של מישהו אחר. הסטת חלק מהעומס למכשיר לא מבטלת את הענן, אבל היא מזיזה את קו הגבול. משימות כמו סיווג, סיכום, ניסוח מחדש, חיפוש בתוך היסטוריה אישית ותזמור של סוכן שמפעיל אפליקציות — כל אלה יכולים לרדת למכשיר, בעוד שהמשימות הכבדות באמת נשארות למעלה. לשוק הישראלי, שמייצא הרבה מאוד תוכנה מבוססת AI לצרכן, זו לא חדשה על גאדג'טים אלא שאלה של ארכיטקטורה ותמחור — וגם הזדמנות רגולטורית, כי עיבוד מקומי הוא התשובה הנקייה ביותר לשאלות פרטיות שמגיעות מלקוחות אירופאים.
ההסתייגות המתבקשת: כל המספרים כאן הם מספרים של קוואלקום, ממצגת של קוואלקום, לפני שמכשיר אחד אמיתי נבדק על ידי גורם חיצוני. "עד 80%", "במודלים נבחרים" ו"תוך שמירה על סוללה ליום שלם" הם ניסוחים שמגיעים עם הרבה מקום לתמרון. גם השוואה למודל ענן בגודל דומה תהיה מטעה — מודל MoE של 30 מיליארד פרמטרים שרץ מפלאש הוא לא אותה חיה כמו מודל צפוף בגודל כזה שרץ על GPU במרכז נתונים. השאלה המעניינת האמיתית תיפתח רק כשמישהו ינסה להריץ את זה ברצף, בטלפון חם, בקיץ.
בצד המעשי: השבבים מגיעים גם עם מודם X105 בקצב הורדה תיאורטי של עד 14.8 ג'יגהביט לשנייה, מערכת קישוריות FastConnect 8800 עם תמיכה ב-Wi-Fi 8, וב-Extreme גם צילום 8K ב-60 פריימים וזיכרון ייעודי ל-GPU מסוג Adreno. קוואלקום לא מפרסמת מחיר לצרכן, כי היא לא מוכרת לצרכן — היא מוכרת ליצרניות, וברשימה הראשונה מופיעות שיאומי, OnePlus, אופו, מוטורולה, הונור, ויוו, iQOO, רדמי ו-RedMagic. כלומר, המכשירים הראשונים עם השבבים האלה יגיעו לחנויות בישראל בתוך חודשים ספורים — וסביר להניח שהמדבקה על הקופסה תגיד "Extreme" בהרבה יותר דגמים ממה שהזיכרון הנוסף באמת מצדיק. הפיצול לשתי רמות הוא לא רק החלטה הנדסית; הוא גם החלטה שיווקית, ועכשיו אפשר לגבות פרמיום על מספר הפרמטרים שהטלפון שלכם מסוגל להחזיק.
