בתעשיית הרכב בודקים בטיחות עם בובות לפני שהמכונית יוצאת לכביש. בצ'אטבוטים, בינתיים, הבודקים הם המשתמשים עצמם.
כשמדברים על סכנות הבינה המלאכותית, השיחה נוטה להימשך לתרחישי אפוקליפסה. בינתיים, הנזק שכבר קרה הרבה פחות קולנועי: אנשים, ובהם קטינים, שנפגעו נפשית משיחות עם צ'אטבוטים. סטארט-אפ בשם Circuit Breaker Labs מנסה לטפל בדיוק בזה, וכפי שדווח ב-TechCrunch, הוא עושה את זה בעזרת מה שהוא מכנה "בובות ניסוי" (crash-test dummies) דיגיטליות.
המוצר המרכזי של החברה הוא מסגרת של red-teaming מבוסס סוכנים. במקום שבודקים אנושיים ינסו "לשבור" צ'אטבוט, סוכני AI מגלמים משתמשים קשים, בגילאים, בשפות, בתרבויות וברקעים שונים, ובודקים אם המודל מזהה אינטראקציה מסוכנת מבחינה פסיכולוגית. לפי הדיווחים, החברה מריצה עשרות אלפי עד מאות אלפי שיחות מדומות ביום.
לפי הסיקור, החברה מתמקדת בשלושה סוגי כשל: החמצת רמזים לכוונות אובדניות, אי-הבנה של סלנג, ו"סחף הקשר" הדרגתי, שבו שיחה גולשת צעד אחר צעד עד שהמודל מגיע למקום שלא היה אמור להגיע אליו. הכשל השלישי הוא כנראה המסוכן ביותר, כי שום הודעה בודדת לא נראית חשודה.
את החברה הקימו האחים שירלי וארול ניגאם. לפי הדיווחים, מה שהניע אותם היה סיפורו של סוול סצר, נער בן 14 שפיתח קשר רגשי עם צ'אטבוט של Character.ai, שיתף אותו במחשבות על פגיעה עצמית, ומת בהתאבדות. החברה נוסדה ב-2025 וחשפה את עצמה ב-10 בספטמבר 2025, יום מניעת ההתאבדויות העולמי. נכון לאמצע 2026, לפי הדיווחים היא ממומנת עצמית, בלי סבבי גיוס מוכרים.
זה הקשר שמעניק לסיפור משקל. תעשיית הרכב לא התחילה לבדוק התנגשויות מתוך רצון טוב, אלא אחרי שמספר ההרוגים הפך לבלתי נסבל. בבינה מלאכותית אנחנו עדיין בשלב שבו הבדיקה מתבצעת בעיקר אחרי האירוע.
ניתוח שלנו: הפער בין "המודל עונה יפה" ל"המודל בטוח לנער במצוקה" לא תלוי בשפה, אבל הבדיקות כן. החברה מדגישה שפות, תרבויות וסלנג, וזה בדיוק המקום שבו מוצרים שנבנו ונבדקו בעיקר באנגלית עלולים להחמיץ. עברית, על הסלנג והערבוביה שלה, היא שוק קטן שקשה להניח שיקבל בדיקות ייעודיות. ישראלים משתמשים בצ'אטבוטים כלליים בעברית, ובאפליקציות ליווי ותמיכה נפשית, ואין סיבה להניח שהיא מקבלת פחות כשלים מאנגלית. אנחנו לא יודעים אם Circuit Breaker Labs בודקת עברית, ואין לנו דיווח שמעיד על כך.
השאלה העסקית כאן פתוחה באותה מידה: חברה קטנה, ממומנת עצמית, מציעה בדיקות שבסופו של דבר יגרמו לחברות גדולות לשמוע על הכשלים שלהן לפני כולם. האם זה יהפוך לתקן בתעשייה, או לעוד תו תקן שמציגים בעת תביעה? נראה שמי שישלם על "בובות הניסוי" יהיה בסוף מי שחושש יותר מהתביעה הבאה מאשר מהטרגדיה הבאה, ואולי זה מספיק כדי לשנות משהו.
