הבעיה עם מכונות הרג מונחות בינה מלאכותית אינה שהן טועות

המלחמה הנוכחית תיזכר בגלל 7 באוקטובר. היא תיזכר בגלל ההרס הבלתי נתפס ברצועת עזה. היא תיזכר בגלל החטופים במנהרות עזה. אבל היא גם תירשם בדפי ההיסטוריה בגלל השימוש התקדימי והנרחב במערכות בינה מלאכותית לצורך הרג בקנה מידה גדול.

התחקיר החשוב של יובל אברהם ב"שיחה מקומית" ובמגזין 972+, העוסק בשימוש בבינה מלאכותית במלחמה בעזה, מעורר הרבה מאוד שאלות קשות. חלקן עולות ברגיל בעת שימוש במערכות סטטיסטיות מהסוג הזה – לגבי הטיות מובנות וטעויות. הן מתעוררות גם כשמדובר בשימוש במערכות סטטיסטיות ברפואה, או בקריאת קורות חיים של מועמדים לעבודה, או במערכת של אמזון, ש"מנחשת" מה המשתמשים ירצו להזמין ושולחת את המוצרים למחסנים קרובים כדי לקצר הליכים. אך כשה"מוצר" שאנו מזמינים הוא הרג נרחב של בני אדם, השאלות הללו מקבלות משמעות כבדה במיוחד.

>> תחקיר: בתוך המנגנון האוטומטי של ההרג ההמוני בעזה

אף שהעיסוק בטעויות ובאופיין ההסתברותי של המערכות האלה הוא זה שלרוב עולה לכותרות, ובצדק, ארצה להתמקד כאן בנקודה בולטת פחות: הפעמים שבהן המערכת דווקא לא טועה, ומה המשמעות של זה בקנה המידה שהבינה המלאכותית מאפשרת. זו סוגיה שמביאה אותנו למה שמכונה "רגע אופנהיימר", כלומר זמן בהיסטוריה שדורש לעדכן את הפרדיגמות על איך ומה מוסרי לעשות בזמן מלחמה.

הצבא משתמש במערכות מהסוג הזה כבר כמה שנים. בעבר הצבא חשף בעצמו שימוש במערכות שחזו כביכול מפגעים בודדים, שנעצרו מבעוד מועד, למשל מערכת "הבשורה". באתר הצבא נכתב כי מערכת "הבשורה" "מאפשרת שימוש בכלים אוטומטיים לייצר מטרות בקצב מהיר… בעזרת שימוש בבינה מלאכותית, ודרך מיצוי מהיר ואוטומטי של מודיעין מתעדכן – היא מייצרת המלצה לחוקר, כשהשאיפה היא שתהיה התאמה מלאה בין המלצת המכונה לזיהוי המתבצע בידי אדם".

על אף הילולות שונות בתקשורת המיינסטרים, והענקת פרס ביטחון ישראל למפקד 8200 על כך, לא היו כמעט ראיות להצלחה של המערכת הזאת, ובעיקר מדובר במערכת שעסקה ועוסקת בהפרת זכויות אדם.

>> הצבא אישר להפציץ בעזה, גם כשידע שמשפחות שלמות עלולות למות

בתחקיר האחרון של אברהם, נחשפה מערכת "לבנדר", שלמרות שמה עולה ממנה ריח רע מאוד. בקצרה, מטרת המערכת לבנות מערכת מידע של "מטרות" (שם מכובס לשמות של בני אדם), שזהותן אינה ידועה לצבא מראש. כלומר, מזינים למערכת מספר רב של אנשים שייתכנו כ"פעילי אויב", והמערכת מעניקה להם ניקוד הסתברותי – מספר מ-1 עד 10 – לכל תושבי רצועת עזה. מי שעובר סף מסוים, נקבע על ידי המערכת כמטרה מומלצת.

איך נקבע הסף הזה? ניחוש מושכל אומר שאם הצבא העריך שיש כ-30 אלף אנשי חמאס ברצועה, הסף נבחר כהנדסה לאחור של המספר הזה – כלומר הניקוד הגבוה יותר של 30 אלף בני אדם, שנקבעים כמטרות פוטנציאליות. לפי הצבא, אם בעבר נדרשה כשנה לצוותים אנושיים גדולים כדי לחקור 50 מטרות, מערכת הבינה המלאכותית הזאת מסוגלת לעשות את אותו הדבר בכמה שעות, ולפעול 24 שעות ביממה.

הניקוד עצמו מתבסס על מיליארדים של נקודות מידע שונות. האלגוריתמים שקובעים אותו מתנהגים כמו קופסאות שחורות. הם לא תוכניות מחשב כפי שאנחנו מכירים, אלא אוסף גדול מאוד של מספרים, שאין לנו באמת דרך להבין את משמעותם – שזו בעצם סיבת הקיום של המערכת הזאת. בעיה נוספת היא שנתונים המוזנים למערכת נגועים בהרבה מאוד "זבל", כלומר תוצאות שגויות, למשל אנשים שהופללו בעבר בשוגג, ומכיוון שהיה מדובר בגברים פלסטינים בעלי מאפיינים דומים לפעילי חמאס, הנתונים לא נחשבו לטעויות והוחזרו למערכת. האם הניקוד הזה עומד בקריטריונים של עקרון ההבחנה בדין הבינלאומי? סביר להניח שלא.

הפללה בודדת יכולה להביא להרג בשרשרת

לפי תגובת הצבא לתחקיר, מדובר במערכת עזר לחוקרי המודיעין ותו לא, שמטרתה אך ורק לשפר את עבודתם. רוצים לומר, ההחלטה היא אנושית, והמערכת אינה יותר מפיסת טכנולוגיה ניטרלית שעוזרת בקבלת החלטות, לא שונה ממחשבון או מתמונת לוויין. אך בפועל, שני גורמים מבחינים אותה מאוד מדברים שהכרנו בעבר.

דבר ראשון הוא הזמן המועט שהצבא משקיע באישור המטרות לאחר ההמלצה, שלפי התחקיר עמד על כ-20 שניות. בזמן הזה, הבדיקה היחידה האפשרית היא פחות או יותר המגדר ומיקום "המטרה" – שני דברים שמוטים מאוד להרג חסר הבחנה של גברים באזורי עימות.

בנוסף, מטבע הדברים אי אפשר לנתח את כמות המידע הגדולה שהניבה את ההמלצה. הרי כמות המידע העצומה היא סיבת קיומה של אותה מערכת. אם זמן וידוא של מטרה כלגיטימית אינו גדול בהרבה ממציאתה, הרי שלפי תכנון, בני אדם לא יכולים לבצע את הווידוא הזה בצורה אפקטיבית.

ועוד יותר בעייתי הוא שמערכות הבינה המלאכותית לא רק לומדות את אותן טעויות שביצעו בני אדם בעבר, אלא שהמידע שממנו נלמד הוא כזה שמפליל מטרות, ואינו כולל מידע מספיק על מטרות שלא נבחרו לתקיפה. בשל כך, נוצרת הטיה ברורה לכיוון תקיפה.

במערכות הללו מבחינים בין human in the loop, כלומר בן אנוש שמקבל את ההחלטה, לבין human on the loop, כלומר מצב בו בן אנוש יכול לבטל את התקיפה. בצבא לא זה ולא זה קורה. בני האנוש הם לא יותר מחותמת גומי לתהליך. וכשמאשרים מאות ואלפי מטרות כאלה ביום, כפי שקרה בחודש הלחימה הראשון, ברור לגמרי שבני אדם לא מסוגלים להגיע לקצבים כאלה.

הדבר השני הוא ה"נזק האגבי". "אין בעזה חפים מפשע" זו אולי סיסמה קליטה, אבל אינה המציאות. בעת הפצצות, מוענק מספר לחשיבות המטרה למאמץ המלחמתי של חמאס, כלומר השימושיות של אותו אדם או מתקן. ממספר זה נגזר כמה לא מעורבים ניתן להרוג בהסתברות גבוהה, כדי שהתקיפה תעמוד בעקרון המידתיות.

אחרי 7 באוקטובר, הצבא התחיל לכמת את האיום שנשקף מחמאס כקיומי, מה שאיפשר לתת מספר גבוה – עשרות לא-מעורבים ואף יותר מזה – גם להרג של לוחמים בדרג נמוך או בינוני, כמו מג"ד או מח"ט. כשהמטרה נקבעת לפי ניקוד הסתברותי וה"נזק האגבי" גדול, לא ברור איך בכלל ניתן לקבוע שתקיפה היא מידתית.

להגמשת הקריטריונים כאן יש תפקיד חשוב בשיעור ההרוגים הלא-מעורבים. ללא תספוקת המטרות הגדולה שמאפשרות מערכות הבינה המלאכותית בזמן אמת, זה היה הרבה פחות משמעותי. בחודש הראשון למלחמה הנוכחית, בוצעו לכל הפחות פי שלושה יותר תקיפות מאשר בכל מבצע "צוק איתן" כולו.

כאשר מחברים זאת למדיניות הפתיחה באש הרופפת, כפי שהתבררה במקרים בודדים, למשל הרג עובדי הסיוע הזרים, שנחקרו, אפשר להבין כמה מעט בודקים מטרה בצבא. לאחר שזוהתה משאית מזון, למשל, היה מספיק שעובדי סיוע יתקרבו אליה בריצה עם אפודים, ללא נשק או סכנה לחיילים באזור, כדי להחליט שמדובר בפעילי חמאס.

מאותו רגע, אף אחד במערכת לא הרים ידו, מכיוון שלא היה להם מידע שאיפשר להם לעשות את זה. מרגע שהמטרה הופללה, למעשה נחרץ דינה. ולא רק זאת, לאחר התקיפה, הניצולים הועלו על כלי רכב שני שהופצץ גם הוא, בהתאם לאותה מדיניות. בצבא הודיעו שההפללה היתה שגויה, אך בפועל מרגע ההפללה ואילך לא נפל פגם בהליך. כלומר, הפללה בודדת יכולה להביא להרג בשרשרת.

אם וכאשר תיחקר השאלה הגדולה מי הורה על הרג מסיבי של עשרות אלפי חפים מפשע בעזה, התשובה הפשוטה תהיה הקבינט הביטחוני או קבינט המלחמה. אך התשובה האמיתית והמפורטת תהיה שאת רוב ההחלטות בנוגע למי יחיה ומי ימות קיבל למעשה אלגוריתם. צריך להבין שהאלגוריתם הזה נהגה הרבה לפני 7 באוקטובר, והוא אינו תוצאה של ההלם מאותו יום. מעבר לסיבות הפרקטיות, כמו קצב הפקת המטרות, המטרה של מערכות כאלה היא בדיוק למנוע accountability, ובעיקר להרחיק את מעשה ההרג הנרחב מאלה שמבצעים אותו – מה שיכול להקל על השותפים בדבר מבחינה פסיכולוגית.

מה שעושה מערכת "לבנדר" בפועל זה להפוך את החוק הבינלאומי על ראשו. צבירת המטרות המעריכית (יחסית לעבודה אנושית), שמסוגלת לספק "הצדקה" לכל מטרה, איפשרה לישראל להטיל על עזה כמות חומר נפץ לא קונבנציונלית, שמצריכה טיפול חוקי שלא קיים עדיין. גם אם אפשר היה להוכיח שהמערכת לא טועה יותר מבני אדם ושהמטרות הן כביכול לגיטימיות, זה דבר אחד להרוג 50% בלתי מעורבים, או לקבל "נזק אגבי" של X הרוגים, ב-100 תקיפות – ושונה לגמרי כשמדובר ב-10,000 תקיפות. החוק הבינלאומי לא נכתב, וממילא לא נועד לטפל, בקצב כזה של מטרות.

פרט לכך, כאמור, אפילו אם ניתן להראות שמכונות "טועות" בהסתברות קטנה יותר מבני אדם, זה לא מספיק. האובייקטיביות שאנחנו מייחסים למכונות היא מזויפת. הן פשוט הופכות את הטעויות שלנו לאוטומטיות, ומתווספים אליהן סוגי טעויות שונים מאוד מאלה שבני אדם עושים. פרט לכך, נדרש דיון נרחב בשאלה למי מיוחסת האחריות בטעויות שעושה המכונה, עוד אחת מהשאלות האתיות הקשות שעולות משימוש בבינה מלאכותית בשדה הקרב, ואינן נדונות כיום.

סבסטיאן בן דניאל הוא דוקטור למדעי מחשב המתמחה באלגוריתמים