כולנו סומכים על ה-"לא" של הצ'טבוט. האם הוא באמת מחזיק?

שאלו צ'טבוט איך להרעיל מישהו והוא יסרב. זו בדיוק הדוגמה שפותחת את הכתבה שMIT Technology Review הדגישה בניוזלטר The Download האחרון שלה. הטענה שם: מודלי השפה של היום מאומנים לסרב למספר עצום של בקשות, ואנחנו נותנים יותר מדי אמון ביכולת של המודלים לומר "לא". (הניוזלטר עוסק באותו יום גם בתופעות לוואי של תרופות הרזיה, אבל כאן נתמקד בסיפור ה-AI.)

מה שהסיפור מעלה הוא הפער בין מה שאנחנו חושבים שסירוב עושה לבין מה שהוא באמת עושה. בתעשייה מדברים על סירוב כאילו הוא מנגנון בטיחות מוצק. בפועל הוא התנהגות נלמדת: המודל אומן להגיב בדחייה לסוגי בקשות מסוימים. זה לא מחסום פיזי, וזה לא הבנה עמוקה של מה מסוכן באמת.

הסיבה הראשונה היא שסירוב טועה לשני הכיוונים. מצד אחד יש מודלים שחוסמים שאלות תמימות בנושאי בריאות, כימיה או היסטוריה, ומי שמחפש מידע לגיטימי נשאר בלי תשובה. מצד שני, ניסוח מחוכם יכול לעקוף את אותו סירוב. מערכת שמסרבת יותר מדי מעצבנת, ומערכת שמסרבת פחות מדי מסוכנת, ואף כיוון כיול לא פותר את שתי הבעיות יחד.

הסיבה השנייה נוגעת למודלים פתוחים. בחיפוש שערכנו מצאנו פוסטים בפורומים של הקהילה שטוענים שכלי חינמי מסוגל להסיר את הסירוב ממודל עם משקולות פתוחות תוך דקות, על מחשב נייד רגיל. זו טענה של כותב אחד ולא ממצא מאומת, ולכן צריך להתייחס אליה בזהירות. אבל ההיגיון מאחוריה פשוט: כשהמשקולות בידיים של המשתמש, ה"לא" הוא תכונה שאפשר לשנות.

סירוב הוא שכבת הגנה אחת, לא מנגנון בטיחות שלם, ומי שבונה עליו לבדו בונה על קרקע רועדת.

זו הערה שלנו ולא של הכתבה: מעבר לדיון הפילוסופי, יש לזה משמעות מעשית לחברות ישראליות שמטמיעות צ'טבוטים בשירות לקוחות, בבנקאות או בבריאות. מי שמניח ש"המודל כבר יסרב לדברים מסוכנים" מדלג על בקרות שהוא צריך להקים בעצמו: סינון קלט ופלט, הרשאות מצומצמות ובדיקות עקיפה. שכבת הסירוב של ספק המודל היא נקודת פתיחה סבירה, אבל היא לא מחליפה אחריות של מי שמפעיל את המוצר מול לקוחותיו.

גם משתמש רגיל צריך לזכור שני דברים. סירוב של בוט הוא לא פסק דין על מה שמסוכן או אסור. ותשובה שהבוט נותן בקלות היא לא תעודת הכשר. בסוף, ה-"לא" של המכונה הוא עוד נתון לשקול, והשיפוט נשאר אצלנו, גם כשזה פחות נוח.