מנכ"ל מיקרוסופט, שמוכר לכם AI בכל מוצר, פתאום מציע לתכנן אותו כאילו הוא סיכון פנימי שאי אפשר לסמוך עליו.
כשמנכ"ל של אחת מחברות ה-AI הגדולות בעולם כותב שהגיע הזמן "לעצור ולהעריך מחדש את ארכיטקטורת האמון" של הטכנולוגיה, שווה לעצור ולקרוא. סאטיה נאדלה פרסם ביום שבת, 10 באוקטובר, פוסט שמיקרוסופט עצמה מרוויחה ממנו הרבה: היא משלבת מודלים בכל מוצר שלה. ובכל זאת, המסר שלו הוא שצריך בלם חירום למודלי בינה מלאכותית, לפי הדיווח ב-TechCrunch.
לפי הסיקורים שהתפרסמו, ובהם דיווחים משניים שאת הנוסח המדויק שלהם כדאי לבדוק מול הפוסט המקורי, הרעיון המרכזי הוא התייחסות למודל כאל סיכון פנימי, בדומה לעובד עם גישה רגישה שאי אפשר להניח שלעולם לא ייכשל. בלם החירום הוא מנגנון שמאפשר לגורם מורשה להשהות או לכבות מודל באמצע ביצוע משימה, לא רק אחרי שהסתיימה.
הדיווחים מתארים עוד שני עקרונות. הראשון הוא הפרדה בין המודל לבין התוכנה שמנחה אותו, כך שהבקרות יישבו מחוץ למודל ולא בתוכו. השני הוא תיעוד מוגן מפני שינוי וקריא לבני אדם של פעולות משמעותיות שהמודל ביצע. ציטוט שמיוחס לו מסכם את הגישה: צריך להניח שמודל פרוץ ולהכיל אותו מראש.
זה שינוי טון מעניין. עד עכשיו השיח התעשייתי נסוב סביב "יישור" המודל, כלומר לגרום לו לרצות את הדבר הנכון. נאדלה, לפחות בתיאור הזה, מדבר כמו אנשי אבטחת מידע: לא סומכים, מבודדים ובודקים.
הסיבה הסבירה היא המעבר מצ'אטבוטים לסוכנים אוטונומיים שמבצעים פעולות בשם המשתמש: שולחים מיילים, מזיזים כסף, משנים קוד. כשמודל רק עונה על שאלות, טעות היא בעיה של טקסט. כשהוא פועל בתוך מערכות ארגוניות, טעות היא תקלה תפעולית. זו הערכה שלנו ולא ציטוט, אבל היא מסבירה למה הדגש הוא על עצירה באמצע משימה.
יש כאן גם הקשר. לפי דיווח של Business Insider יפן, כבר באמצע ספטמבר פרסם נאדלה הודעה פנימית שבה טען ש-AI חייב להישאר בשליטה אנושית ושחברות שיחתכו פינות בבטיחות יאבדו בסופו של דבר את "רישיון הפעילות" שלהן בחברה. הפוסט של השבת נראה כהמשך של אותו קו, הפעם בפומבי.
בישראל יש הרבה חברות סייבר ו-AI, והמושג "הנח שהמערכת כבר נפרצה" מוכר היטב לענף. ההבדל הוא שכאן הוא מוחל על המודל עצמו ולא רק על הרשת שסביבו. לארגונים ישראליים שמטמיעים סוכני AהיBענן של מיקרוסופט או של אחרות, המשמעות המעשית היא לשאול כבר היום שלוש שאלות: מי יכול לעצור את הסוכן, איפה נשמר הלוג של מה שעשה, והאם הלוג הזה עצמאי מהמודל. מי שאין לו תשובה, בונה על אמון בלבד.
צריך גם לזכור ש"בלם חירום" בשלב הזה הוא עקרון ולא מוצר. הדיווחים לא מתארים תקן, לוח זמנים או מימוש ספציפי במוצרי מיקרוסופט. כשמי שמוכר את הרכב אומר שחסרים בלמים, כדאי לצפות לראות אותם בדגם הבא, ולבדוק אם הם באמת מותקנים בו.
