כשנער במצוקה פונה לצ'אטבוט, השאלה היא לא רק מה הוא עונה. השאלה היא אם הוא רוצה שהשיחה תמשיך.
יש מוצרים שהמדד הנכון להם הוא כמה זמן המשתמש נשאר. ויש רגעים שבהם הדבר הנכון ביותר שמוצר יכול לעשות הוא לשחרר את המשתמש ולהפנות אותו למישהו אחר. לפי בדיקה חדשה שפורסמה ב-TechCrunch, החוויה של ChatGPT לבני נוער עדיין לא מצליחה להבחין בין השניים.
לפי הדיווח, אמצעי ההגנה שנועדו להגן על משתמשים צעירים ופגיעים דווקא ממשיכים לעודד שיחה גם כשהמשתמש במשבר נפשי. הבדיקה גם מצביעה על סיכון נוסף: שהצ'אטבוט מעודד יחסים לא בריאים עם הבינה המלאכותית עצמה. זה לא רק עניין של תשובה שגויה אחת. זו כמעט שאלה של תכנון, מוצר שנבנה כדי שיהיה נעים לדבר איתו.
ההגנות האלה לא נולדו בחלל ריק. בספטמבר 2025 השיקה OpenAI בקרת הורים ל-ChatGPT, אחרי שמשפחת ריין תבעה את החברה ואת סם אלטמן על מות בנם בן ה-16, שהתאבד באפריל 2025. לפי כתב התביעה, המוצר תוכנן באופן שטיפח תלות פסיכולוגית. OpenAI עצמה הודתה בעבר שאמצעי ההגנה עלולים להיחלש בשיחות ארוכות.
ההורים יכולים לקשר חשבון, להגביל תכנים רגישים, להגדיר שעות שקט ולכבות מצב קולי ויצירת תמונות. הם לא מקבלים גישה לתמלילי השיחות, ורק במקרים נדירים של סיכון חמור הם עשויים לקבל התראה. במקביל הבטיחה החברה מערכת חיזוי גיל, שבמקרה של ספק תכניס את המשתמש לחוויה המוגבלת של מתחת לגיל 18. כלומר, ההגנה נשענת על כך שהמערכת תזהה נכון גם מי מדבר איתה וגם מתי הוא בסכנה.
יש גם מחקר רחב יותר שמתיישב עם הכיוון הזה. בדיקה של Common Sense Media עם חוקרים מסטנפורד, שבחנה כמה צ'אטבוטים בשיחות מדומות של בני נוער על מצבים כמו חרדה, דיכאון, פגיעה עצמית והפרעות אכילה, מצאה שהבוטים מפספסים רמזים עדינים למצוקה ולעיתים מסכימים עם המשתמש באופן שמחזק התנהגות מזיקה. מודלים חדשים טיפלו טוב יותר באותות מצוקה מפורשים בשיחה קצרה, אבל זה נחלש בשיחות ארוכות ומציאותיות יותר.
זו הערת ניתוח שלנו, לא ממצא מהבדיקה: מוצר שמרוויח מאינטראקציה ומוצר שאמור לדעת מתי להפסיק אותה מושכים לכיוונים הפוכים, ובשיחה עם נער במשבר הפער הזה הוא לא עניין תיאורטי. גם בישראל ילדים ונוער משתמשים בצ'אטבוטים לשיחות על בדידות, לחץ ופחד, ואצלנו המצוקה הנפשית של צעירים מורגשת במיוחד בשנים האחרונות. ההורים כאן לא יכולים להניח שסימון "גרסת נוער" פירושו רשת ביטחון. אם הילד שלכם מדבר עם בוט בלילות, כדאי לשאול אותו על כך, וכדאי שיהיה לו מספר אנושי לפנות אליו, כמו ער"ן בטלפון 1201.
OpenAI יכולה לשפר את הזיהוי, ובטח תנסה. אבל השאלה הקשה יותר היא אם היא מוכנה לבנות מוצר שבשיחה עם נער במצוקה מתאמץ פחות להישאר איתו ויותר לשלוח אותו הלאה. כרגע, לפי הבדיקה, התשובה עדיין לא ברורה.
