הפעלת סוכני AI לאורך זמן מחייבת לשמור יותר הקשר ולהעביר אותו ביעילות. נתוני שוק והכרזות תשתית מסבירים למה גם זיכרון ואחסון צריכים להיכנס לתקציב.
תקציר: תוכן ממומן של MIT Technology Review Insights בשיתוף Micron מדגיש את חשיבות הזיכרון והאחסון בהרצת AI. נתוני TrendForce והכרזות NVIDIA מספקים הקשר נוסף; אין כאן בדיקת ביצועים עצמאית.
יש כלל אצבע לא כתוב בכיסוי של תעשיית ה-AI: אם רוצים כותרת, מדברים על GPU. כמה שבבים הזמינה מיקרוסופט, כמה קילוואטים צורך מרכז נתונים חדש, מי חתם על עסקה של מיליארדים עם אנבידיה. אבל מי שמסתכל בפועל על שורות התקציב של מרכזי נתונים ב-2026 מגלה סיפור אחר לגמרי — גם הזיכרון הפך לסעיף תקציבי שקשה להתעלם ממנו.
תוכן ממומן של MIT Technology Review Insights, שהופק בשיתוף יצרנית הזיכרונות Micron ולא בידי מערכת החדשות, פורסם ב-MIT Technology Review תחת הכותרת "Architecting memory and storage in the AI era" מנסח את זה בצורה חדה: בעידן ההרצה, הזיכרון והאחסון כבר אינם מחסן פסיבי שממנו שולפים נתונים, אלא הרקמה החיה של המערכת. הטיעון המרכזי שם הוא לא טכני אלא ניהולי — הארגונים שירוויחו הכי הרבה מ-AI לא יהיו בהכרח אלה עם טביעת הרגל החישובית הגדולה ביותר, אלא אלה שיתכננו את המחשוב, הזיכרון, האחסון והרשת כמערכת אחת משולבת, ויבנו ארכיטקטורה מודולרית מספיק כדי לא להינעל על החלטה שגויה לחמש שנים קדימה.
למה ההקשר של המודל דורש תשתית?
ההסבר הטכני פשוט יחסית. כשמודל שפה מייצר תשובה, הוא מחזיק זיכרון עבודה של ההקשר — מה שנקרא KV Cache. ככל שחלונות ההקשר גדלים, ככל שסוכני AI רצים לאורך זמן ולא בשאילתה בודדת, וככל שמספר המשתמשים בו-זמנית עולה, נפח ההקשר הזה מתנפח. הוא יקר מדי לשמירה כולו ב-HBM, אבל זריקה שלו לפח פירושה חישוב מחדש של כל הפרומפט בכל פנייה. התעשייה הגיבה בבניית שכבות: אנבידיה השיקה את Dynamo להעברת KV Cache מהזיכרון המהיר אל RAM של המעבד ואל דיסקים, ובינואר 2026 הציגה את פלטפורמת CMX — שכבת הקשר ברמת ה-Pod שיושבת בין ה-SSD המקומי לאחסון המשותף.
מה הנתונים אומרים על המחירים?
TrendForce העלתה במאי את תחזית ההכנסות העולמית של שוק הזיכרונות ל-2026 לכ-889.3 מיליארד דולר. זו תחזית הכנסות, לא מדד למחיר שכל לקוח משלם. בסקר מיולי תיארה החברה שוק DRAM הדוק גם ברבעון השלישי, לצד התמתנות בקצב העליות וחולשה בביקוש הצרכני. לכן אין להסיק מכך שכל מחשב או כל שירות ענן יתייקרו באותו שיעור.
מה זה אומר לצוות פיתוח בישראל?
NVIDIA הכריזה בינואר על פלטפורמת אחסון להקשר של מודלים המבוססת על BlueField-4. ההכרזה הציבה זמינות של פתרונות שותפים במחצית השנייה של 2026; הכרזה אינה מעידה שכל פתרון כבר זמין לכל לקוח. לצוות ישראלי שמתכנן שירות AI, המשמעות המעשית היא לבדוק את עלות ההקשר, נפח הזיכרון והשהיית התגובה יחד עם מחיר המאיץ, ולמדוד אותם בעומס העבודה שלו.
ניתוח קצר: העצה של המאמר לבנות ארכיטקטורה מודולרית נשמעת כמו קלישאת ייעוץ, אבל בשוק שבו רכיב מרכזי מתייקר בעשרות אחוזים תוך שנה, גמישות היא לא מותרות — היא הגנה פיננסית. ארגון שנעל תכנון נוקשה סביב מחירי זיכרון של 2024 מגלה היום שהתקציב שלו נשחק לא בגלל טעות אלגוריתמית אלא בגלל שרשרת אספקה. ולישראלים יש כאן שני צדדים למטבע: מצד אחד, חברות תשתית ושבבים מקומיות שרוכבות על הגל; מצד שני, כל סטארטאפ שמריץ מודלים בענן צריך לבדוק אם שינויים בעלויות התשתית משפיעים על ההצעה שהוא מקבל.
השורה התחתונה: העידן שבו "עוד GPU" היה תשובה מספקת לכל בעיית AI הסתיים בשקט. מי שרוצה לדעת לאן הולכת התעשייה בשנתיים הקרובות, כדאי שיפסיק לספור מאיצים ויתחיל לשאול איפה בדיוק יושב ההקשר — ומי משלם על האחסון שלו. המבחן הוא העלות לבקשה בעומס אמיתי — לא מספר המאיצים במצגת.
