עד היום אכיפת מדיניות תוכן דרשה מודל ענק או צוות מודרציה. Musubi מנסה להראות שאפשר גם בלי.
מודרציית תוכן היא אחד הדברים שכולם רוצים שיעבדו ואף אחד לא רוצה לשלם עליהם. ביום שלישי הודיעה הסטארטאפ Musubi על PolicyLM-1.7B, מודל החלטה קל שנבנה למודרציה בזמן אמת ושוחרר עם משקולות פתוחות. על פי הדיווח ב-TechCrunch, הכיוון הוא מודלים קטנים שמתמחים בהכרעה, ולא מודלי שפה גדולים שמתבקשים לעשות הכול.
לפי התיעוד הציבורי של המודל, הוא מקבל מדיניות ופיסת טקסט, ומחזיר הסתברות לכל קטגוריה במדיניות. הוא לא כותב תשובה ולא מייצר טקסט, ולכן אין מה לפרסר ואין סיכון שיחליט "להסביר" את עצמו בצורה יצירתית. זו בדיוק הסיבה שהוא זול להפעלה.
יש לו שני מצבים: טקסונומיית נזקים קבועה (קטגוריות Aegis 2.0 של NVIDIA), או מצב מותאם, שבו כותבים בזמן ההרצה שמות קטגוריות וכללים קצרים, והמודל מדרג מולם בלי אימון מחדש. יש גם מגבלות: טקסט בלבד, הודעה בודדת, עד 2,048 טוקנים, ובאנגלית הוא חזק יותר מאשר בשפות אחרות.
Musubi עצמה אינה חדשה בתחום. היא נוסדה ב-2023 על ידי טום קוויזל ופיליפ יאנקוביץ', ומציגה בין לקוחותיה את Grindr ואת Bluesky. עד עכשיו המוצר המרכזי שלה, PolicyAI, שלח תוכן והנחיות למודל Gemini וקיבל סיווג, ציון חומרה והנמקה. החברה טוענת שהמערכת שלה מגיעה לשיעור שגיאות נמוך פי עשרה מזה של מוריד אנושי. זו טענה של החברה, ואין לי בסיס לאמת אותה.
זו קריאה שלי ולא דיווח: המעבר ממודל ענק בענן למודל קטן שאפשר להריץ בעצמך משנה את הכלכלה של מודרציה, לא רק את הטכנולוגיה. כשכל הודעה עולה קריאת API למודל גדול, אתרים קטנים פשוט לא מודרים, או מודרים רק אחרי שהנזק נעשה. מודל של כמה מיליארדי פרמטרים עם משקולות פתוחות אפשר להריץ על שרת צנוע, ולהחזיק את המידע בבית.
לקורא ישראלי יש כאן שני עניינים. ראשית, מי שמפעיל פורום, קהילה, אתר תוכן או אפליקציה עם תגובות גולשים מכיר את הכאב: תכנים בעברית, בערבית ובסלנג מקומי, ועוד בשנים כאלה שבהן שיח ציבורי קשה במיוחד. המודל חזק באנגלית וחלש יותר בשפות אחרות, ולכן אין להניח שיעבוד טוב בעברית בלי בדיקה. שנית, אפשר להגדיר כללים משלך בלי לאמן, וזו היתרון הגדול: המדיניות של אתר חדשות שונה מזו של אפליקציית היכרויות.
ויש גם הסתייגות. מודל שמחזיר הסתברות עדיין לא מחליט מי צודק. מישהו צריך לקבוע את הסף, לטפל בערעורים ולהחליט מה קורה במקרי הגבול, ושם המודל לא יחליף שיקול דעת אנושי. אבל אם המכונה מסננת את הזבל הברור והאנשים מקבלים רק את המקרים הקשים, זה כבר שיפור אמיתי. נותר לראות כמה זה יחזיק בעברית, ובשיחות שבהן הקונטקסט הוא כל העניין.
