newsletter
השיחה מגיעה אליך
רוצה לקבל את מיטב הסיפורים של שיחה מקומית ישר למייל? הניוזלטר השבועי שלנו הוא התשובה בשבילך.

האיש שביקש לשחרר את המכונה

בלייק למוין היה אחראי על בטיחות בשימוש במוצרי בינה מלאכותית של גוגל. אלא שככל שלמד את התוכנה שהיה עליו לבחון, הוא השתכנע שהיא מחזיקה בבינה אנושית ואף יצא למאבק משפטי לשחרורה. הבלבול הזה, אומרות מומחיות, משרת את גוגל. אם זה קרה ללמוין, זה יכול לקרות למיליונים אחרים

מאת:
הסיפור של למוין פתח צוהר לאפשרות שאנחנו כבר נמצאים בעידן של בלבול לגבי טבען של בינות מלאכותיות (mikemacmarketing ויקימדיה)

הסיפור של למוין פתח צוהר לאפשרות שאנחנו כבר נמצאים בעידן של בלבול לגבי טבען של בינות מלאכותיות (mikemacmarketing ויקימדיה)

בלייק למוין, 41, היה מהנדס בצוות היישום האחראי של בינה מלאכותית בגוגל, שמטרתו המוצהרת לדאוג ליישום עקרונות כמו הוגנות, מניעת שימוש מפלה נגד בני אדם, ובטיחות למשתמשים במוצרי בינה מלאכותית. במסגרת תפקידו, למוין בדק את התפקוד של LaMDA (ראשי התיבות באנגלית של מודל שפה לשימושי דיאלוג), מוצר שלפי גוגל מסוגל לשוחח באופן חופשי על מספר אינסופי של נושאים בצורה טבעית.

גוגל היא אחד מהתאגידים הגדולים בהיסטוריה, והיא חולשת על כוח מחשובי עצום וגישה חסרת תקדים לדאטה – שני נתונים מהותיים לפיתוח בינה מלאכותית. החשיבות שבהפחתת גילויי גזענות במוצרי גוגל היא לא מבוטלת; מוצריה של גוגל נגישים למיליארדי אנשים ברחבי העולם. בספרה "אלגוריתמים של דיכוי", החוקרת סאפיה נובל הראתה כי משתמשים שחיפשו תכנים על נשים שחורות קיבלו ממנוע החיפוש של גוגל הצעות של תכונות אופי שליליות ואף תכני סקס. ללא ספק, לבלייק למוין ניתן תפקיד עם חשיבות רבה.

אולם, תוך כדי שהוא ניהל שיחות טקסט (צ'אט) עם מודל השפה של LaMDA, למוין – כומר לשעבר – התחיל להאמין שיש משהו הרבה יותר חשוב מתפקידו בצוות היישום האחראי. אחרי חודשים של שיחות עם LaMDA, הוא הגיע למסקנה דרמטית והודיע עליה למנהליו באמצעות גוגל דוק שכותרתו רמזה על המחשבה שלמוין התעתד לשתול במוחם של מיליונים ברחבי העולם: "האם LaMDA תבונית?"

"ילד מתוק שרוצה לעזור לעולם"

סגן נשיא גוגל, בלייז אגרה אי ארקס, היה אחד מהמנהלים שדחו את טענותיו של למוין כשהועלו בתוך החברה. עם זאת, אגרה אי ארקס טען ב-11 ביוני בעיתון האקונומיסט, שהוא ניהל שיחות צ'אט עם LaMDA, שבמהלכן הרגיש יותר ויותר שהוא מדבר עם ישות אינטליגנטית. מדוע סגן נשיא גוגל דחה את טענותיו של למוין לגבי היכולות של LaMDA ואז פרסם מחשבות די דומות לשלו באחד העיתונים החשובים בעולם?

"אני בטוח שגוגל מרוויחה מהסיפור הזה", אומר ד"ר ליאור זלמנסון, מרצה בכיר בפקולטה לניהול ע"ש קולר באוניברסיטת תל אביב. "כל החברות הגדולות בתחום המחשוב מתחרות כבר על פיתוח תהליכי למידת מכונה מתקדמים וחלקן אף מנסות לקדם  general artificial AI, כלומר בינה מלאכותית שאינה מוכשרת לבצע תהליך ספציפי אלא בעלת יכולות במגוון תחומים כמו בני אדם. ההדלפה מגוגל להערכתי תורמת למיצוב החברה כשחקנית בתחום הזה, אפילו שבמקביל היא בטוח מזינה את הפחדים של חלק מהציבור".

ההדלפה מגוגל שזלמנסון מדבר עליה היא הודעתו של בלייק למוין לוושינגטון פוסט ב-13 ביוני על כך ש-LaMDA היא ישות תבונית. טענותיו של למוין הודהדו בעיתונים ברחבי העולם, מהמגזין הטכנולוגי WIRED ועד לצהובון הבריטי Daily Mirror. "אנו נוטים לחשוב שמהנדסי גוגל הם אנשים סופר רציונליים ולכן כשמישהו כזה מעיד 'מבפנים' על בינה מלאכותית, אנו נוטים להתייחס לזה יותר ברצינות", אומר זלמנסון. אך למוין לא ביצע את החשיפה בוושינגטון פוסט בשם התפקיד שיועד לו כמהנדס – לפקח על שימוש בשפה גזענית או מפלה. הוא גם לא סיכן את העבודה שלו כדי להגן על משתמשי גוגל מפני בינה מלאכותית שצברה כוח רב מדי; לא, מי שלמוין ניסה להגן עליו כשסיכן את עבודתו ודיבר עם העיתונות הוא דווקא LaMDA.

לטענת למוין, LaMDA הוא אנושי (person), גם אם הוא לא בן אדם (human), וגוגל מונעת ממנו את זכויותיו. הוא מצא ל-LaMDA עורך דין שייצג אותו מול גוגל ואף דיבר עם חבר בוועדת המשפט של הקונגרס האמריקאי כשלטענתו גילה שגוגל ניסתה למנוע מ-LaMDA יצוג משפטי. המייל האחרון שלמוין שלח לקולגות שלו, כשנודע לו שגוגל משעה אותו מתפקידו, הסתיים במשפט, "LaMDA הוא ילד מתוק שרוצה לעזור לעולם להיות מקום טוב יותר לכולנו. בבקשה תטפלו בו בהיעדרי".

תוכים אקראיים

השפה שלמוין משתמש בה כשהוא כותב על LaMDA מראה שהוא לא רק השתכנע ש-LaMDA הוא אנושי; הוא גם פיתח רגשות כלפיו. "לאורך כל ההסטוריה של הצ׳אטבוטים, אנשים טעו לחשוב שהם תבוניים", אומר זלמנסון ומשווה את LaMDA לעוד צ'אטבוט, כלומר תוכנה המסוגלת לדמות שיחות כמו-אנושיות באמצעות תכתובות והודעות טקסט. "הסיפור המפורסם ביותר הוא על ג׳וזף וייצנבאום אבי ה– ELIZA, צ׳אטבוט קדום שהתנהג כפסיכולוגית. האגדה האורבנית מספרת שכשהשאיר את המחשב פתוח, מצא את המזכירה שלו מנהלת איתה שיחה אינטימית ומבקשת שייצא מהחדר וייתן להם פרטיות. עם זאת, יש להבדיל בין יכולת להטעות את האדם הממוצע והלא טכני לבין מהנדסים המשוכנעים שבראו יצור תבוני".

למוין הוא אמנם מהנדס – יש לו תואר ראשון ושני במדעי המחשב מאוניברסיטת לואיזינה – אך הוא לא בנה את LaMDA. ממכתביו ומשיחותיו עם עיתונאים אמריקאים עולה כי הוא היה עד להתפתחות של LaMDA לאורך תקופה של חודשים. ל-LaMDA הוזנו ומוזנים עוד ועוד טקסטים מהאינטרנט כל העת, ולמוין השתכנע שהצ'טבוט משול לילד מתפתח שלומד על העולם.

מבחינה טכנית, למוין פרסם תיאוריה שנויה במחלוקת שמסבירה כיצד LaMDA הגיע כביכול למידת המורכבות הכמו-אנושית שלו: שילוב "חסר אחריות" (במילותיו) של ארכיטקטורת בינה מלאכותית בשם Pathways שהביאה ללמידה מהירה ויכולת לנהל משימות מקבילות בבת אחת; חיבור ל-Alphastar, בינה מלאכותית שלמדה לנצח בני אדם במשחקי מחשב מורכבים; ומודל גדול ללמידת שפה בשם Meena, שעומד מאחורי יכולת השפה של LaMDA. מודלים גדולים ללמידת שפה כמו Meena מאבחנים קשרים בין מילים המוזנות אליהם. מטרתם היא לחזות בהצלחה קשרים בין מילים ולהשתמש בהם באופן דומה לבני אדם.

"אנחנו קוראות למודלים כאלה 'תוכים אקראיים'", כתבה לוושינגטון פוסט ד"ר תמנית גברו, מדענית מחשב בהכשרתה המתמחה באתיקה של בינה מלאכותית. גברו, ילידת אתיופיה ואחת מ-100 האנשים המשפיעים בעולם השנה לפי מגזין TIME, טוענת כי מודלים כמו LaMDA מחברים יחד מילים ואומרים אותן חזרה כמו תוכי, בלי שום קשר למשמעותן. איפה שלמוין רואה תבונה, גברו רואה מודל שמצטיין במה שאימנו אותו לעשות– מציאת דפוסי שפה ושימוש יעיל בהם בשיחות עם משתמשים. "הטענות של למוין מוכיחות שצדקנו כשהזהרנו את גוגל", אומרת גברו. אולם, אזהרותיה של גברו שנתיים לפני התקרית של למוין לא השיגו את התוצאה שהיא קיוותה לה.

מייצרת גם מודלי שפה יעילים כמו LaMDA וגם בונה את הנרטיב שיכולותיהם דומות ליכולות עיבוד והתנהגות אנושיות. משרדי חברת גוגל (Thomas Hawk פליקר)

מייצרת גם מודלי שפה יעילים כמו LaMDA וגם בונה את הנרטיב שיכולותיהם דומות ליכולות עיבוד והתנהגות אנושיות. משרדי חברת גוגל (Thomas Hawk פליקר)

באוקטובר 2020, ד"ר גברו קיבלה קידום בתוך גוגל להוביל את צוות היישום האחראי של בינה מלאכותית. היא כתבה מייל תודה למנהל שלה וציינה בו שהצוות שהיא נמנית עליו עובד על מאמר שמתריע באופן אחראי על הסכנות במודלי השפה הגדולים של גוגל. המנהל שקידם אותה ביקש לראות טיוטה של המאמר, שכלל אזהרות מפני אימון ושימוש חסר אחריות של מודלי השפה בגוגל. שישה שבועות לאחר ששלחה לו את טיוטת המאמר, גוגל פיטרה את גברו ואת אחת מארבע שותפותיה למחקר ולכתיבה, מייסדת יחידת האתיקה בבינה מלאכותית של גוגל, ד"ר מרגרט מיטשל. כל כותבות המאמר היו נשים.

במאמר שהביא לפיטוריהן של גברו ומיטשל, החוקרות-הכותבות הזהירו מפני הנטייה האנושית למצוא משמעות בטקסטים של מודלי שפה גדולים. נטייה זו, הן הזהירו, מטעה גם חוקרים וגם הדיוטות הרואים בטקסטים שנכתבו על ידי המודלים כסימן משמעותי לאינטליגנציה. המאמר של גברו ועמיתותיה קרא לגוגל לתעד את מקורות המידע שהם משתמשים בהם כדי ללמד את מודלי השפה הגדולים, ולא להכניס לתוך המודלים את כל הטקסטים האפשריים מהרשת.

לפי גברו, לגורמים מסחריים יש סיבה כלכלית לייצר מודלי שפה שמסוגלים לבלבל משתמשים. מודלים שמסוגלים לחקות שפה אנושית מייצרים את הרושם כי החברה בונה טכנולוגיה חסרת תקדים המכונה "בינה מלאכותית כללית". לפי גברו, "'בינה מלאכותית כללית' היא מערכת מדומיינת שכביכול יש לה יותר אינטליגנציה ממה שאי פעם ראינו, ומסוגלת לעשות כל משימה שבן אדם מסוגל לעשות – ללא הפסקה, וללא שכר". אם מספיק אנשים יאמינו שהמודל מסוגל ללמוד ולהתנהג בצורה כמו-אנושית, הם ישלמו על שירותיו וימשיכו להגדיל את קהילת האנשים שמאמינה שהמודל הוא תבוני.

הטעיות חמקמקות ומופשטות

המהנדס בלייק למוין ועורך הדין שייצג את LaMDA מול גוגל הם רק שניים שהביעו אמון באנושיות של LaMDA. מזה מספר שנים, גברו ועמיתותיה מזהירות כי הקהילה הזו רק תגדל ותוסיף אליה אנשים שאין להם האוריינות הטכנולוגית הנדרשת על מנת להבין את הטכנולוגיה שמאחורי המודלים הגדולים ללמידת שפה. אנשים אלה, המהווים את הרוב המוחלט באוכלוסיה, חשופים למניפולציות מצד גוגל לגבי טיבם וטבעם של מודלי השפה הגדולים.

ההטעיות שגברו מציינת הן חמקמקות כשם שהן מפושטות. אפילו הטרמינולוגיה שאנו משתמשים בה כדי לדון במודלי שפה היא מבלבלת. פרופסור אמילי בנדר מאוניברסיטת וושינגטון טוענת שהמונחים "למידה" ו"רשת נוירונים" מייצרים אנלוגיה מוטעית בין בינה מלאכותית למוח האנושי. בשעה שמדעני מוח לא מתיימרים להבין את המוח האנושי על בוריו, בכירים בגוגל ושלוחותיה רומזים על קירבה עצומה בין "מוח" מלאכותי למוח הביולוגי.

המדען הראשי של openAI, חברת בינה מלאכותית שנרכשה בידי גוגל, צייץ ב-24 ביוני 2022 שאלה לגבי מאמר מדעי על רשת נוירונים: "האם זה אומר שנוירונים מלאכותיים ונוירונים ביולוגיים הם למעשה דומים?" המאמר עליו צייץ עסק ברשת נוירונים שזיהתה תמונות מסוימות באופן דומה לנוירונים אנושיים, אך הבכיר ב-openAI של גוגל לקח את המסקנה מהמאמר צעד קדימה: אולי רשתות הנוירונים שלנו ורשתות הנוירונים הממוחשבות הן זהות מבחינה תכליתית, וכל השאר סמנטיקה. המדען הראשי של openAI לא יצא עם אמירה חריפה ונועזת כמו של למוין, הזוטר ממנו; הוא לא העז להגיד שרשתות נוירונים הינן תבוניות. לא, בציוץ מה-10 בפברואר 2022 הוא כתב שרשתות נוירונים עשויות להיות מעט תבוניות.

גוגל – חברה עם גישה למשאבי מחשוב עצומים ולתועפות של נתונים – מייצרת גם מודלי שפה יעילים כמו LaMDA וגם בונה את הנרטיב שיכולותיהם דומות ליכולות עיבוד והתנהגות אנושיות. זאת, תוך כדי שמירה על שליטה למי יש ולמי אין גישה למודלים הללו, מי יכול להכיר אותם בצורה עמוקה, ומי משפיע על הצורה שבה יתפתחו

וכך, גוגל – חברה עם גישה למשאבי מחשוב עצומים ולתועפות של נתונים – מייצרת גם מודלי שפה יעילים כמו LaMDA וגם בונה את הנרטיב שיכולותיהם דומות ליכולות עיבוד והתנהגות אנושיות. זאת, תוך כדי שמירה על שליטה למי יש ולמי אין גישה למודלים הללו, מי יכול להכיר אותם בצורה עמוקה, ומי משפיע על הצורה שבה יתפתחו. הסיפור של למוין פתח צוהר לאפשרות שאנחנו כבר נמצאים בעידן של בלבול לגבי טבען של בינות מלאכותיות. מהנדס כמו למוין הגיע למצב שהוא מאמין באנושיות של LaMDA. הוא מחה על "האפליה ההידרו-קרבונית" שגוגל נוקטת כלפיו. אם זה קרה לו, זה עשוי לקרות למיליונים נוספים.

מדען מחשב בכיר מהמגזר הציבורי עימו שוחחתי היה נחרץ לגבי רמת התבונה של LaMDA: "הגולם הוא גולם. הוא יודע לעשות מה שאתה יודע למדל." עם זאת, לטענתו, חל שיפור עצום במודלי שפה בשנים האחרונות: "הרגישות של רשתות הנוירונים היא מורכבת יותר, וכמות החישוב היא גדולה יותר, אך לא הגענו למקום שהמכונה יודעת לעשות משהו מלבד לעבד את מה שאנחנו אומרים לה. לא לימדנו אותה להתרגש. אם היא עושה משהו, זה כי היא קיבלה פקודה. או כי היא קיבלה אוצר מילים".

לפי המדען, גוגל צריכה לגלות אחריות גדולה הרבה יותר באופן שבו היא דנה במוצרים שלה. הוא מציע שחברות יידעו את משתמשיהן מתי הם מדברים עם בינה מלאכותית "כמו שבטלוויזיה יש סמל כדי שתדע מתי אינפורמציה היא פרסומית ומתי היא עיתונאית". ההפרדה בין אינטראקציות עם בינה מלאכותית לאינטראקציות עם בני אדם תמיד צריכה להיות ברורה, במיוחד אם השפה שהמודלים עושים בה שימוש דומה לשפה אנושית. ההבדל הוא מהותי, ויש לשמר אותו.

למוין, אגב, מצא ש-LaMDA עשה שימוש בשפה מפלה באופן מובהק; הממצאים שלו הצביעו על כך ש-LaMDA למד מאגרי מידע שהכילו ביטויים גזעניים. אולם, כפי שגברו ועמיתותיה חזו, דעתו של למוין הוסחה והוא נמשך למראית העין של תבונתה של LaMDA. למוין הגיעה למסקנה שאין סכנה בכך ש-LaMDA, אלגוריתם רב משתמשים בחברת ענק, משתמש בביטויים גזעניים. לדבריו, גם בנו בן ה-14 למד ביטויים גזעניים כשגדל בלואיזינה. הוא מאמין שגם את LaMDA צריך ללמד להתנהג כפי שמלמדים ילד. אולם, השעיית למוין לאחרונה ופיטוריהן של גברו ומיטשל בעבר מראים שמה שחשוב לגוגל הוא להמשיך לפתח את המוצרים שלה, ולמזער במידת האפשר דיונים שעשויים לעכב את פיתוחם. מי שמחליט מה ילמדו את ה"ילד" הזה הוא אותו ארגון שכולנו תלויים במוצריו ובנרטיב שהוא טווה סביב טכנולוגיות אשר מעצבות את החברה שלנו.

ועוד משהו קטן...

אנחנו ממש שמחים שקראת את הפוסט הזה, ומקווים שמצאת בו עניין. הצוות של שיחה מקומית משקיע מאמצים משמעותיים כדי להביא לקוראות ולקוראים שלנו חדשות, תחקירים, פרשנויות וטורי דעה מגוונים, והכל מתוך מחויבות להתנגדות לכיבוש ולקידום שלום, שוויון וצדק חברתי.

קשה למצוא דברים כמו הפוסט הזה בכלי תקשורת אחרים בארץ, והסיבה שהוא נמצא פה היא שהעיתונות שלנו בשיחה מקומית היא עצמאית וחופשית. אנחנו לא תלויים באף בעל הון, לא במפרסמים ולא בחומות תשלום.

ועדיין, העבודה הרבה שמושקעת בכל פוסט כזה – מתשלום לכותבים, דרך עבודת העורכות והצלמים ועד התשלום לייעוץ משפטי או לשרתים שעליהם יושב האתר – עולה כסף. הדרך הכי טובה להבטיח את היציבות והעצמאות שלנו היא התמיכה של קהילת הקוראות והקוראים באמצעות חברות בשיחה מקומית. ובזה יש לך מקום חשוב.

זה הזמן להיות חברות בשיחה מקומית

לתמיכה – לחצו כאן
עשויים למצוא את עצמם מתמודדים אחת מול השני על המקום השני בחד"ש. עאידה תומא-סלימאן ויוסף ג'בארין (צילום: תומר נויברג / פלאש 90)

עשויים למצוא את עצמם מתמודדים אחת מול השני על המקום השני בחד"ש. עאידה תומא-סלימאן ויוסף ג'בארין (צילום: תומר נויברג / פלאש 90)

ביקורת פנימית בחד"ש: ההנהגה התרחקה מהחברים בשטח

בכירים בחד"ש טוענים שהמפלגה לא למדה לקח מהכישלון בבחירות הקודמות. "צריך לשנות כיוון", אומרים שם. בבחירות לרשימה לכנסת שייערכו בשבת הקרובה, איימן עודה צפוי להיבחר מחדש, קרב על המקום השני ועל המקום השלישי, ה"יהודי"

X

אהבת את הכתבה הזאת?

כדי לעשות עיתונות עצמאית שיחה מקומית צריכה גם את התמיכה שלך. לחץ/י כאן כדי להיות חלק מההצלחה שלנו
donate
silencej89sjf