אמזון מנסה לפרק את החומה של אנבידיה — ולא עם שבב חדש, אלא עם שורת קוד אחת

במשך שנים אנבידיה ניצחה בעיקר בזכות התוכנה. השבבים שלה חזקים, אבל מה שבאמת מחזיק את המפתחים בפנים הוא CUDA, שכבת התוכנה שכמעט כל פרויקט בינה מלאכותית נשען עליה. אמזון, שמפתחת שבבי AI משלה, הבינה שאי אפשר לנצח בחומרה בלבד. לכן היא השיקה כלי תוכנה בשם TorchNeuron, כך דווח ב-TechCrunch, שמכוון ישירות ל-PyTorch, ערכת הכלים החופשית שעליה נבנית רוב אפליקציות ה-AI.

לפי הדיווחים, מדובר ב-backend פתוח בקוד פתוח (רישיון Apache 2.0) שמאפשר להריץ קוד PyTorch על שבבי Trainium2 ו-Trainium3 של AWS. הבטא הציבורית נפתחה ב-20 באוקטובר בכנס PyTorch בסן חוזה. לפי התיעוד של AWS, ברוב המקרים השינוי המרכזי הוא החלפת .to('cuda') ב-.to('neuron'), ואילו ממשקי האימון המבוזר הנפוצים, כמו FSDP ו-DDP, אמורים לעבוד בלי שינוי קוד, פרט להגדרות חלוקה שתלויות במספר הליבות.

זה גם שינוי ארכיטקטורה פנימי. עד היום Neuron נשען על PyTorch/XLA, ועכשיו עוברים ל-backend נייטיבי חדש. לפי התיעוד, PyTorch 2.9 היא הגרסה האחרונה שנשענת על XLA, ומ-2.10 התמיכה תבוא דרך TorchNeuron.

כאן מגיעה הפסקה של "הכלל הקטן". הבטא דורשת צורות קלט קבועות למודלים מקומפלים, ועדיין חסרה בה תמיכה בכמה יכולות, למשל sparse tensors. אמזון מדווחת על יותר מ-30 לקוחות מוקדמים, בתחומים כמו רובוטיקה, world models ו-AI קולי. Deepgram מספרת שהיא מעבדת 70% יותר אודיו לכל דולר ברמת דיוק ייצורית. אלה נתונים של החברות עצמן, ולא בדיקה עצמאית, וכלי תוכנה לבדו לא מוכיח יתרון ביצועים או עלות בכל עומס עבודה.

זו ניתוח שלנו, לא דיווח: הלקוחות הגדולים של ענני ה-AI כבר לא מתלוננים רק על המחיר של GPU של אנבידיה, אלא על חוסר האפשרות לזוז. כל עוד מעבר לשבב אחר דורש חודשים של הנדסה, האיום על אנבידיה נשאר תיאורטי. אם TorchNeuron באמת מצמצם את המעבר ליום עבודה, גם הנחה קטנה על שעת חישוב מספיקה כדי להפוך את החשבון למעניין.

לקורא הישראלי יש כאן שני קשרים. סטארט-אפים מקומיים ששורפים תקציבי ענן על אימון והרצה של מודלים יקבלו אפשרות נוספת למיקוח מול הספקים. ומי שנשען על נוכחות אנבידיה בישראל, שמפעילה כאן מרכזי פיתוח גדולים, יראה בכך עוד סימן לכך שהתחרות עוברת מהסיליקון לשכבת התוכנה.

יש גם ספקנות מוצדקת: קהילת CUDA נבנתה לאורך כמעט שני עשורים, עם ספריות, כלים ומפתחים שמכירים אותה בעל פה. שורת קוד אחת היא התחלה טובה, אבל עד שהמפתחים יאמינו שהכול עובד גם בייצור, אנבידיה יכולה להמשיך לישון בשקט, לפחות עד הבטא הבאה.