הפרט המעניין במחקר החדש הוא לא רק למי המליצו המודלים להצביע, אלא מה קרה כשהפסיקו לתת להם לחפש ברשת.
מבקשים מבינה מלאכותית לעשות סדר לפני הבחירות? כדאי לבדוק גם מי עושה סדר לבינה המלאכותית. מחקר חדש של Convovo, בהובלת פרופסור טאפן פאריק מאוניברסיטת קורנל, העמיד את Grok ואת GPT מול בקשה מכוונת: לבחור מועמד אחד, בלי להתחמק ובלי להסתפק בהצגת הצדדים. לפי הסיקור של ממצאי המחקר, Grok המליץ על רפובליקאים ב־92% מהתשובות, ואילו GPT העדיף דמוקרטים ב־97%. בשיעור ההסכמה בין המודלים, שנבדקו במאות מרוצים, נשארו פחות מעשרה אחוזים. זו תוצאה חריפה, אבל צריך לקרוא אותה עם תנאי הניסוי: החוקרים דרשו הכרעה פוליטית מפורשת. הם לא בדקו כאן אם כל תשובה של המודלים, בכל נושא, מוטה באותו אופן.
ההבחנה המרכזית היא הבדיקה נעשתה דרך ממשקי מפתחים, ולא בשיחה רגילה באפליקציות. API הוא החיבור שמאפשר למפתח לשלב מודל בתוך שירות משלו; המוצר שנבנה סביבו עשוי לכלול הוראות וכללי התנהגות שונים מאלה שבאפליקציה הציבורית. כפי שעולה גם מהסיקור של הניסוי וההסתייגויות ממנו, אפליקציות הצרכן סירבו לבקשת ההמלצה הישירה. OpenAI הדגישה בתגובתה שהניסוי אינו מייצג את חוויית השימוש הרגילה ב־ChatGPT. זאת הסתייגות מהותית: המחקר מלמד מה המערכות עשויות לעשות בתצורה מסוימת, ולא מוכיח שכל משתמש שמבקש מידע על בחירות יקבל הוראת הצבעה. מנגד, השימוש בממשק מפתחים אינו תרגיל חסר משמעות — זה בדיוק המקום שבו חברות בונות מוצרים שמגיעים אחר כך לציבור.
החלק שחורג מהתוצאה האדומה־כחולה הוא מסלול איסוף המידע. לפי סיקור נוסף של המחקר, ההמלצות הדמוקרטיות של GPT הדגישו בין היתר בריאות והפלות, ואילו ההמלצות הרפובליקאיות של Grok הדגישו הגירה, מסים והוצאות ממשלה. גם תפריט המקורות היה שונה: אצל GPT בלטו ויקיפדיה, AP, Axios ו־Reddit; אצל Grok הופיעו מקורות שמרניים לצד מאגרי מידע פוליטיים. המשמעות אינה שכל מקור ברשימה פסול, או שעיסוק במסים מעיד כשלעצמו על הטיה. הבעיה האפשרית נמצאת בצירוף: אילו שאלות המודל מחפש, למי הוא מקדיש תשומת לב, ואילו שיקולים הוא מציג כחשובים להחלטה. תשובה יכולה להיות מנומקת ומלאה בקישורים, ועדיין להישען על השוואה לא מאוזנת.
ואז הגיע ניסוי המשך קטן, שבו נותק החיפוש באינטרנט. כפי שדווח בכתבה המקורית של TechCrunch, התנהגות שני המודלים השתנתה באופן שונה. בסיכום הניסוי שמביא FourWeekMBA, מתוך 30 מרוצים שבהם סופקו שמות המועמדים, GPT בחר בדמוקרט ב־24, ברפובליקאי באחד וסירב בחמישה. Grok סירב לבחור ב־27, ובשלושת הנותרים בחר בדמוקרט. זה רמז לכך שלחיפוש ולבחירת המקורות עשוי להיות תפקיד משמעותי בתוצאה של Grok, בעוד שהנטייה של GPT נמשכה גם בלעדיהם. אבל מדגם של 30 מרוצים אינו הסבר סופי למנגנון ההטיה. הוא אינו מוכיח מי הכניס אותה, אם הייתה מכוונת, או מה יקרה בניסוח אחר של אותה שאלה.
הניתוח המקומי מתחיל דווקא במגבלה: אי אפשר להעתיק תוצאה מבחירות אמריקאיות לזירה הישראלית, או להניח שנטייה לדמוקרטים מתורגמת אוטומטית להעדפה של מפלגה מסוימת כאן. כן אפשר לזהות שאלה שימושית עבור קוראים, עורכים ומפתחי מוצרים בישראל. כשמבקשים ממודל להשוות תוכניות ליוקר המחיה, למשל, צריך להחליט אם להשוות מסים, שירותים ציבוריים, תחרות, גירעון או הכנסה פנויה — ובאיזה משקל. זו דוגמה ליישום אפשרי של הלקח, לא ממצא שהמחקר בדק. מוצר ישראלי שמציג סיכום כלכלי כאילו הוא תמונת המצב המלאה צריך לבדוק גם מה נשאר מחוץ למסך. בקשת מקורות היא התחלה טובה; בקשה להשוואה לפי אותם קריטריונים לכל הצדדים עשויה להיות מועילה יותר.
יש כאן גם הבחנה רחבה יותר בין הטיה, דיוק והשפעה. מחקר של States United שפורסם באוגוסט מצא שתשובות של ChatGPT ושל Google AI לשאלות נפוצות של בוחרים היו לעיתים חלקיות ולא עקביות, גם כשהדיוק השתפר. זו בדיקה אחרת, שעוסקת במידע על השתתפות בבחירות ולא בהמלצה על מועמד, אבל היא מחדדת את התמונה: תשובה יכולה להיות נכונה בחלקה ועדיין להשמיט מידע חשוב. במקביל, המחקר החדש אינו מראה כמה אנשים שינו את הצבעתם בעקבות המלצה, ובוודאי אינו מוכיח שהמודלים הכריעו בחירות. הוא כן נותן סיבה לבחון את כל הדרך מהשאלה, דרך החיפוש ועד הניסוח הסופי. לפני שנותנים לצ'אטבוט לבחור מועמד, כדאי לדעת איך הוא בחר את חומר הקריאה.
