מאות כתבי יד ממודל שטרם שוחרר מעמידים את החוקרים בפני שאלה יקרה: מי יבדוק, יסביר וייקח אחריות על כל זה?
לייצר מאות מסמכים עם טענות לפתרון בעיות מתמטיות קשות זה הישג שמושך תשומת לב. להפוך אותם לידע שחוקרים יכולים להבין, לבדוק ולהמשיך ממנו — זו כבר משימה אחרת. ב־6 באוקטובר פרסמה OpenAI אוסף גדול של תוצאות שהפיק מודל פנימי שלה, והדגישה שהתייעצה עם קבוצת מתמטיקאים עצמאית בנוגע לאופן הפרסום. אלא שהתייעצות אינה חותמת כשרות. TechCrunch דיווח שהפרסום אינו עומד במלוא הסטנדרטים שהציעו החוקרים. מאחורי הוויכוח נמצאת שאלה רחבה יותר מתשובה נכונה או שגויה: כאשר מכונה מייצרת הוכחה שקשה לאנשים להבין, מי אחראי להסביר אותה, ומה בדיוק אפשר להכריז שהמדע כבר יודע?
המספרים עוזרים להבין את היקף המשימה. לפי מאגר המחקר של OpenAI, הקטלוג הנוכחי כולל 719 כתבי יד, המחולקים ל־372 משפחות של תוצאות קשורות. משפחה עשויה להכיל תוצאה מרכזית, טיעונים משלימים, מסקנות או הוכחות חלופיות; לכן מספר המסמכים אינו מספר הבעיות שנפתרו. החברה מציינת שהמודל קיבל כ־4,000 בעיות במהלך ההערכה, ושהאוסף כולל תוצאות בשלבים שונים של בדיקה. היא גם מזהירה שבתוצאות שלא עברו פורמליזציה עשויות להיות בעיות. לפי המאגר, כ־42% מהתוצאות המרכזיות עברו פורמליזציה — ניסוח שמאפשר בדיקה ממוחשבת. אלה נתונים משמעותיים, אבל הם אינם שקולים לקביעה שכל האוסף אומת, הובן או התקבל בידי הקהילה המתמטית.
קבוצת הייעוץ למתמטיקה ובינה מלאכותית, AGMAI, פועלת באופן עצמאי ומונה תשעה חוקרים. ב־29 בספטמבר היא פרסמה המלצות המבוססות על יותר מ־600 תשובות מהקהילה. נקודת המוצא שלה חדה: היא מבקשת מחברות להפסיק לבחון בעיות מתמטיות מתקדמות באמצעות מודלים קנייניים שאינם נגישים לקהילה המדעית. לצד זאת, ההמלצות מתייחסות למצב שבו תוצאות כאלה כבר נוצרו: לפרסם במהירות ובאחריות, לציין מקורות, לחשוף מידע על תהליך ההפקה ולתמוך בהבנה אנושית. העיקרון המקצועי שמאחוריהן פשוט: מחבר של מאמר אמור להבין את הטיעון, לבדוק אותו ולקחת עליו אחריות. פרסום תוצאה הוא תחילת תהליך ההבנה האנושית, לא סופו, הבהירה הקבוצה בהתייחסותה לפרסום החדש. היא גם הדגישה שתפקידה המייעץ אינו אישור לתוצאות או לדרך שבה הושגו, ושאינה מדברת בשם הקהילה כולה.
OpenAI מציגה עמדה אחרת בנוגע להמשך הניסויים: בהודעתה הרשמית היא מסבירה שהערכת מודלים פנימיים במתמטיקה ובמדעים חשובה לפיתוח כלים שיקדמו את התחומים האלה. החברה פרסמה גם עשרה סיכומים של תהליכי ההסקה, אומרת שתוסיף הוכחות פורמליות ב־Lean, ומתחייבת לשפר את ההפניות וההסברים בפרסומים עתידיים. Lean מאפשרת לבדוק הוכחה שנוסחה בשפה פורמלית באמצעות מחשב; לצד הבדיקה הזאת, עדיין צריך להבין מה נוסח, אילו הנחות נבחרו וכיצד התוצאה משתלבת במחקר הקיים. החברה הודיעה שתממן סדנאות, כנסים ותוכניות להבנת תוצאות שהפיק AI. מנגד, בהצהרה של האגודה למתמטיקה אנושית, שפורסמה גם בבלוג של טרנס טאו, נשמעה קריאה לחוקרים להפסיק לעבוד עם OpenAI. זו עמדה של האגודה, ולא פסק דין מוסכם של כל המתמטיקאים.
כאן נכנסת הכלכלה של הסיפור. בניתוח שלנו, אם הפקת טיעונים נעשית מהירה יותר מהיכולת לבדוק ולהסביר אותם, צוואר הבקבוק עובר לזמן של מומחים. מאגר פתוח מאפשר לחוקרים לגשת לחומר, אבל הגישה לבדה אינה מממנת את שעות העבודה הדרושות לקריאה, למציאת פערים, להשוואה לספרות ולבניית הסבר שאחרים יוכלו ללמוד ממנו. התמריצים גם שונים: חברת AI יכולה להציג אוסף תוצאות כהמחשה ליכולות המודל; חוקר צריך להחליט אם השקעת שבועות בפענוח מסמך תקדם שאלה מדעית שחשובה לו. לכן עלות ההפקה אינה העלות המלאה של התגלית. מימון סדנאות עשוי לעזור, אך המבחן יהיה גם מי בוחר את סדר היום, מי מקבל קרדיט והאם החוקרים יכולים להשתמש בכלים באופן עצמאי. אלה שאלות של חלוקת משאבים וכוח, לא רק של איכות הניסוח.
לקורא הישראלי, ובעיקר למי שמנהל צוות מחקר או פיתוח, יש כאן לקח מעשי: כשמודדים את התועלת של AI, כדאי לספור גם את העבודה שאחרי התשובה. בניתוח שלנו, צוות שמקבל מהמודל טיעון מתמטי או הצעה לאלגוריתם צריך לבחון את ההנחות, להתאים את התוצאה לבעיה שלו ולוודא שיש מי שמבין אותה מספיק כדי לתחזק ולהרחיב אותה. אפשר להרוויח מאוד מהאצה כזאת, אבל אי אפשר להסיק ממספר המסמכים כמה שעות נחסכו בפועל. גם באקדמיה, התרחיש הרצוי הוא שחוקרים יוכלו לשאול שאלות חדשות בעזרת הכלים, ולא להקדיש את כל זמנם לפענוח שאלות שבחרה חברה אחרת. הפרסום של OpenAI עשוי להתברר כמקור לתוצאות חשובות; היקפן וערכן עדיין דורשים הערכה. עכשיו צריך לראות כמה מהפלט יהפוך לידע שאפשר באמת לעבוד איתו.
