סטארטאפ ישראלי טוען: אפשר לתקן טעות בבינה מלאכותית בלי לגרום נזק בלתי נראה

מאת מערכת NOWTV

הסטארטאפ הישראלי החדש Growing Intelligence  פרסם ניסוי השוואתי פתוח שבו הצליח לתקן עובדה שגויה בתוך מודל בינה מלאכותית, מבלי לפגוע ולו בפיסת מידע אחת אחרת שהמודל כבר ידע. את הקוד ואת הנתונים המלאים פרסמה החברה בגישה פתוחה ב-GitHub, כך שכל חוקר בעולם יכול לנסות לשחזר את התוצאה בעצמו.

ההישג הזה נוגע בבעיה שמטרידה את כל תעשיית הבינה המלאכותית: איך מתקנים טעות במודל AI בלי לשבור, בשקט ובלי התראה, מאות עובדות אחרות שהוא כבר למד. "אנחנו  רגילים לחשוב על תיקון מודל AI כניחוש מושכל. הצלחנו להראות שאפשר לגשת ישר לנוירון שאחראי לטעות, לתקן רק אותו, ולהוכיח שלא נגענו בשום דבר אחר. זה ההבדל בין לקוות שהתיקון הצליח לבין לדעת את זה בוודאו", אומר אדם לביא, מייסד-שותף ב- Growing Intelligence.

הפרסום הפתוח של הקוד והנתונים הוא לא דבר של מה בכך בתעשייה שבה הצהרות על יכולות AI מתפרסמות כמעט מדי יום  ולעיתים קרובות קשה לבדוק אותן. עם זאת, מדובר בניסוי שביצעה החברה עצמה ולא באימות עצמאי מצד גורם שלישי. שלב כזה עדיין נדרש כדי שהטענות יתקבלו באופן רשמי בקהילה המדעית.

מודלי שפה גדולים נבנים על מיליארדי פרמטרים שנלמדים מכמויות עתק של טקסט. כשמתגלה בהם שגיאה- תשובה שגויה, מידע מיושן או הטיה בעייתית-  הדרך המקובלת לתקן אותה היא לאמן את המודל מחדש, כולו או חלקו, על נתונים מתוקנים. התהליך הזה יקר, איטי, ולרוב לא ממוקד. המודל "לומד" את העובדה החדשה, אבל אף אחד לא יכול להבטיח שבדרך הוא לא "שכח" משהו אחר שידע קודם.

בשפה מקצועית קוראים לתופעה "שכחה קטסטרופלית". היא ידועה במחקר האקדמי כבר שנים, אבל הופכת דחופה יותר ככל שמודלים כאלה נכנסים לתחומים שבהם טעות היא לא מטרד אלא סיכון, כגון רפואה, שירותים פיננסיים, מערכות ביטחוניות, ייעוץ משפטי או קבלת החלטות אוטומטית.

Growing Intelligence הוקמה בידי יהונתן שלו, אדם לביא וטל הלפרין. עד כה הגישה החברה כארבע בקשות פטנט. ההישג הגדול שלה הוא, לדבריה מייסדיה, בהצלחה  לפתח שיטה שיודעת לפענח את המבנה הפנימי של מודלים בעלי משקולות בם אומרים, ומסבירים: "בעבר, כל תיקון במודל AI היה כמו לנסות לתקן מנוע בלי לפתוח את מכסה המנוע – לוחצים על הדוושה ומקווים לטוב. אנחנו פיתחנו דרך לפתוח את המכסה, להצביע בדיוק על הרכיב שגורם לתקלה, ולטפל רק בו. זו המשמעות של לרדת עד לרמת הנוירון הבודד", הדגים לביא.

אדם לביא: זה לא רק "תיקון המודל", אלא גם יכולת להראות בדיוק מה תוקן (צילום פרטי)

לדבריו, כל שינוי שמבוצע במודל מלווה בחתימה קריפטוגרפית שמאפשרת להוכיח מה בדיוק תוקן, ושהתיקון לא חרג מהתנאים שהוגדרו לו מראש. במילים אחרות: זה לא רק "תיקון המודל", אלא גם יכולת להראות בדיוק מה תוקן.

כדי לבחון את הטענה, הריצה Growing Intelligence שיטות מובילות שכבר נבחנו ופורסמו בעבר על ידי חוקרים בתחום, מול השיטה שפיתחה בעצמה  על שני מודלים שונים ועל מאגר בדיקה סטנדרטי המקובל בתעשייה.

לפי הנתונים שפרסמה החברה השיטות המתחרות תיקנו את מה שנדרש מהן, אך פגעו במקביל במאות עובדות אחרות שהמודל ידע קודם. רק השיטה של Growing Intelligence ביצעה את אותם תיקונים מבלי לפגוע באף אחת מהעובדות שנבדקו.

"פרסמנו את הקוד ואת הנתונים בפתיחות מלאה בדיוק כדי שאף אחד לא יצטרך להאמין לנו על המילה.כל חוקר יכול לבדוק את זה בעצמו. השלב הבא מבחינתנו הוא בדיקה עצמאית מול גורמים אקדמיים ותעשייתיים, וזה משהו שאנחנו פתוחים לו לגמרי", ציין לביא.

בחברה מתארים גם יעד שאפתני יותר: שימוש באותה יכולת פענוח ברמת הנוירון כדי להתערב בזמן אמת ולמנוע מהמודל לייצר תשובות שגויות או "הזיות"- המקרים שבהם מודל שפה מציג מידע כוזב בביטחון מלא, כאילו היה עובדה. הרעיון הוא לזהות את המנגנון הפנימי שמוביל להתנהגות בעייתית, ולהתערב בו ישירות,  במקום לחכות שהמודל יפלוט תשובה שגויה ורק אז לנסות לתקן אותה בדיעבד.

"מניעת הזיות בזמן אמת מבוססת על אותה יכולת בדיוק – להבין מה קורה במודל ברמת הנוירון. הכלי הזה עדיין בפיתוח, אבל העיקרון זהה לגמרי: להתערב במנגנון עצמו לפני שהוא מפיק תשובה שגויה, ולא לתקן אותה אחרי מעשה", הדגיש לביא.

הדחיפה לכיוון הזה לא נולדה בחלל ריק. רגולטורים, ארגונים ולקוחות דורשים מבינה מלאכותית משהו שלא דרשו ממנה באותה עוצמה עד היום: אחריות, שקיפות ויכולת הוכחה. לא מספיק שמערכת AI "בדרך כלל עובדת"  צריך לדעת מה היא עשתה, למה, ומה השתנה בה בכל עדכון.

חוק הבינה המלאכותית של האיחוד האירופי, וכן רגולציה ישראלית מתהווה בתחום, מציבים דרישות הולכות וגדלות בנוגע לשקיפות, ניהול סיכונים, תיעוד ובקרה של מערכות AI. במציאות כזו, היכולת להוכיח מה קרה בתוך מודל אחרי עדכון הופכת מיתרון טכני לצורך רגולטורי ועסקי של ממש.

Growing Intelligence נמצאת כעת, לדבריה, במגעים עם חברות גדולות, במטרה להביא את הטכנולוגיה לשימוש בקנה מידה תעשייתי. "אנחנו בשיחות במטרה להביא את הטכנולוגיה הזו לשימוש בקנה מידה תעשייתי. אני לא יכול לפרט כרגע, אבל הכיוון ברור לנו לגמרי", סיכם לביא.

לקריאה של הנתונים ב-GitHub-

https://github.com/growing-intelligence/counterfact-comparison