הקדמה
ספר זה עוסק בהיבט מסוים של עיצוב מוצרים – שמישות וידידותיות. מכאן שהוא עוסק גם בהנדסת גורמי אנוש, שהרי המהות של גישת הנדסת האנוש והמשותף למגוון תחומי המחקר והעיסוק השלה הם השאיפה להתאים את העולם הטכנולוגי לאדם שעתיד להשתמש בו. הידע שהצטבר במהלך ההתפתחות של התחום מאפשר ליישם עקרונות עיצוב על כל תוצריו של העולם הטכנולוגי כדי שיתאים יותר לשימושם של בני אדם. הגישה הבסיסית בתחום היא "התאמת המכונה לאדם", והיא פועלת כדבק המקשר בין התפיסות והשיטות, המחקרים והתקנים של הנדסת האנוש. כבר אלפי שנים שהאדם יוצר לעצמו מכשירים ומשתמש בהם לצרכיו. המאמץ ליצור כלים והשימוש בהם הם מאפיינים חשובים של הציביליזציה. הטכנולוגיה היא חלק מהמהות שלנו כבני אדם, והיחס אל תוצרי הטכנולוגיה טבוע בתוכנו. הנדסת גורמי אנוש היא התחום המגשר בין הטכנולוגיה לאדם המשתמש בה, והיא מנסה להפוך את הטכנולוגיה לזמינה יותר וּמותאמת לשימוש בצורה קלה, נוחה ובטוחה.
אנחנו יודעים להעריך כלי עבודה או מכשיר טוב ומוכנים לשלם יותר עבור כלי כזה שישרת אותנו באופן מיטבי. אנחנו מודעים גם לבעיות שהטכנולוגיה יוצרת בכל האספקטים שלה. מי לא מכיר את ההרגשה של שימוש בכלי גרוע? כלי גרוע משפיע לרעה על איכות הביצוע וגורם למשתמש מפח נפש. ואכן, במכשירים רבים הנמצאים בשימושנו ניכרות טעויות בעיצוב. אולם, אלא אם מדובר בטעות עיצוב בולטת במיוחד, רוב האנשים נוטים להאשים גורמים אחרים, ובראש וראשונה את עצמם, ולא את מתכנן המכשיר שיצר כלי קשה לשימוש, לא יעיל, לא נוח או לא בטיחותי. הרבה מוצרים לשימוש יומיומי מאופיינים בליקויי הנדסת אנוש. לדוגמה, אנשים מעטים בלבד מכירים את כל אפשרויות התכנות של מכשירי החשמל הביתיים שלהם; רבים מאתנו מכירים ומשתמשים רק בקומץ ממבחר הפעולות, ושפע האפשרויות מבלבל אותנו כל כך עד שגם הפעולות הבסיסיות שמכשיר ביתי אמור לבצע הופכות קשות. מכשירים כאלה הם דוגמה לתיכּוּן גרוע של מה שמכונה "ממשק המשתמש". הכוונה במונח זה, או במונח המקצועי "ממשק אדם-מכונה" HMI (human machine interface), היא לכל הפרטים התפעוליים של מכשיר – הפקדים, החיוויים והתצוגות. הצרכן הממוצע אינו מודע בדרך כלל לליקויים בתחום זה, הן בעת הקנייה והן במהלך השימוש במכשיר. לרוב הצרכן נוטה להאשים את עצמו בכך שלא קרא את מדריך השימוש, או להפנות אצבע מאשימה כלפי הזיכרון החלש שלו, הגיל שלו, היכולת הטכנית המוגבלת שלו, העובדה שהתפתה לרכוש מכשיר משוכלל מדי. את המעצב או את מהנדסי החברה שיצרה את המכשיר לא מאשימים בדרך כלל. המהנדסים, שלא השכילו ליצור מכשיר קל לתפעול – הם אינם זוכים לביקורת. והביקורת לרוב מוצדקת.
בעיות תפעול של מכשירים ותוכנות הן אחד ממקורות התסכול המובהקים של משתמשי טכנולוגיה רבים. אין דבר מתסכל יותר מתוכנה טיפשה שמקשה עלינו לקבל את מבוקשנו, ומוצרים רבים מעוררים יומיום חששות בגלל קשיים בתפעול ובשל הצורך להקדיש זמן לימוד מיותר. הרבה מוצרים מעוררים מבוכה ותחושת אין-אונים, ובעקבות כך גם תסכול וכעס על בעיות ממשק ועל טעויות תפעול. התסכול גדול במיוחד בתפעול של מכשיר חדש ולא מוכר. אגב, מערכות חדשניות הן לעתים מסובכות לתפעול לא רק מכיוון שהן חדשות למשתמשים. מעצם היותן חדשניות גם המתכננים לא התנסו בתכנון מערכות דומות, והדגמים הראשונים סובלים מתפעול לא סטנדרטי ובוסרי.
אחד התרגילים הניתנים בקורס הנדסת אנוש במחלקה לעיצוב תעשייתי בבצלאל הוא תרגיל לאבחון ליקויי תפעול במוצרים יומיומיים. מתברר שהמשימה לא קשה במיוחד, ולמעשה גם התיקון המתבקש לא תמיד קשה. השילוב של סטודנטים יצירתיים ומציאות יומיומית של ריבוי פגמים ומפגעים מספק מבחר גדול של דוגמאות וסוגים שונים של ליקויים: סכין שף בעלת ידית שאינה מאפשרת גם אחיזה וגם חיתוך; מסחטה בעלת בסיס קטן וידית ארוכה הגורמים להפיכת המכשיר; עיצוב מטעה של לחצני מעלית הגורם למספרי הקומות להיראות כמו לחצנים המזמינים לחיצה; לחצני כיוון מסך קטנים וחבויים טוב כל כך עד שלא מוצאים אותם גם אם יודעים על קיומם; ברז סיבובי המזמין תפעול בלחיצה ולא בסיבוב; מרסס טיהור אוויר בעל כיווניות הפוכה המזמין אחיזה כשהפייה המרססת פונה למשתמש; ליקוי בטיחותי בידית סכין שף שמקשה להימנע מהחלקת יד לבסיס הלהב; הצורה והקונטור האחיד של כרטיסי אשראי שאינו מקל על כיוון ההכנסה; אורך מִפתַח הלחיצה של משאף רפואי המחייב ידיים ענקיות; מכחול מחליק בבקבוקון מסקרה; קשיי פירוק והרכבה של פילטר שואב אבק הגורם לשבירתו; דלת מקרר שמסווה את כיוון הפתיחה; סוללת ברזי כיור שאי-אפשר לפענח; לחצן דפדוף בקורא ספרים אלקטרוני בנקודות האחיזה הטבעיות הגורם לדפדוף בלתי רצוני; מיקום לחצני מגהץ המחייבים שימוש בשתי ידיים; לוגיקה מסובכת להפעלת שעון שבת; שורה של שמונה פקדים זהים לתפעול ארבעה גופי החימום של כיריים; חמש בעיות במנגנוני הכיוון של כיסא אחד; קשיי קריאת השעה בשעון מינימליסטי מעורפל; היעדר חיוויים ולחצנים בלתי מפוענחים במכונת כביסה; מיפוי משונה וליקויי מזמינוּת בשלט של מזגן; פרופורציות של מכונת קפה וחוסר יכולת להשתמש בכוסות בגובה רגיל; חוסר אחידות בלוגיקה של כיוון שעוני כושר בדגמים שונים של אותו יצרן; כלי עבודה בעל מלכודת לאצבעות; נורית התראת לחץ שמן שלא רואים באור יום; רדיו למכונית בעל הפעלה מסובכת ולחצנים מיקרוסקופיים שלפי ספר הרכב לא בטיחותי להפעיל בנסיעה.
לעומת רשימה ארוכה זו של מוצרים בעלי ממשקי תפעול בעייתיים ואף עוינים למשתמש (לא ניתן להגדיר זאת אחרת, קיימים כמובן מוצרים נוחים לשימוש שההפעלה שלהם קלה ופשוטה. הנדסת האנוש מספקת את העקרונות המיועדים למניעת בעיות בממשקי התפעול ולתכנון ועיצוב של מוצרים "ידידותיים למשתמש". הפרקים בספר מנסים לתאר את משמעות המפגש בין המשתמש לטכנולוגיה שבשימושו, ולהבהיר באמצעות דוגמאות חלק מן העקרונות הללו. סיבוך וקשיי תפעול אינם גזרת גורל הנובעת מהתחכום הטכנולוגי, וניתן להימנע מהם. להפך, התחכום הטכנולוגי הוא המאפשר לתכנן את המערכות כך שתהיינה פשוטות לתפעול למרות רמת תחכומן.
פרק 1
הטכנולוגיה מאפשרת לנו לשרוד, הנדסת האנוש מאפשרת לנו לשרוד בנוכחות הטכנולוגיה
אנשי המחשבים, המהנדסים, המפתחים, אנשי הטכנולוגיה המתקדמת – כל אלה נוטים לעשות טעויות חמורות בתפיסות שיש להם ביחס למשתמש. אחת הטעויות היסודיות היא התפיסה שהמשתמש רואה את המערכת כפי שהם, המפתחים והמתכננים, רואים אותה. הטעות הנפוצה של טובי המהנדסים היא המחשבה שכולם יראו את ההיגיון התפעולי של המכשיר שבפיתוח – בדיוק כמותם. המפַתח מביט בתצוגה שעיצב או מפעיל את התוכנה שפיתח וחושב (באגוצנטריות) שכל אחד יראה זאת כמוהו. הם מתרַגלים לתפעול שהמציאו ולעתים לא ערים לכך שכל אדם אחר יתקשה לבצע אותו. משעשע לחשוב על כך שהמפַתח בעצמו הוא צרכן של מוצרי טכנולוגיה. לכן אפשר לדמיין שאחרי שהוא מסיים את יום העבודה שלו, הוא נוסע הביתה ובדרך מסתבך עם הכפתורים המרובים והקטנים של מערכת המולטימדיה במכונית או עם תפריטי הסמרטפון החדש שלו, תוך שהוא מסנן משהו כלפי החכם שהגה אותם. אחר כך, בבית, הוא נאלץ לקבל תמיכה טלפונית לתיקון החיבור לאינטרנט, והוא לא מבין למה הדבר צריך להיות מסובך כל כך. אבל כשהוא יושב מן הצד השני של המתרס, כמתכנן ולא כמשתמש, הוא ממשיך אולי לשגות ולחשוב שהמערכת שהוא עצמו מפתח קלה ונוחה לתפעול. ובאמת, מדוע שבשונה מהאחרות היא תהיה קלה ונוחה?
הרבה צרכנים טועים לחשוב שמערכת מורכבת מחייבת גם תפעול מורכב. אם המכשיר מתוחכם – הוא מצדיק כביכול גם תפעול מורכב. האם אפשר בכלל ליצור מערכת תפעול פשוטה במערכת מסובכת? אכן כן. אמנם עניין זה דורש השקעה גדולה יותר מצד מפתח המכשיר, אבל הדבר אפשרי. חלק מהתחכום האמיתי שצריך להיות טבוע במערכת הוא קלות השימוש בממשקי התפעול שלה. במקרה של מערכת לשימוש יומיומי תפעול טוב הוא תפעול פשוט וקל ללמידה, כזה שמאפשר לבצע את הפעולות הבסיסיות בזריזות, שאת הפעולות הנדרשות בו זוכרים גם לאחר תקופה ארוכה ללא שימוש (ללא צורך לקרוא שוב את ספר ההפעלה). תפעול גרוע במערכת פשוטה אינו נדיר, הוא מקיף אותנו מכל עבר: דלת שנדמה שצריך לדחוף אותה, אבל אפשר רק למשוך; סוללת ברזי אמבטיה שרואים בפעם הראשונה בבית מלון ולא יודעים איך לווסת את המים החמים; ואין-ספור מוצרים שאינם רומזים על אופן התפעול או מזמינים פעולות תפעול שגויות. לדלתות ולברזים ניתן אמנם להוסיף חצי הסבר או שלט Pull-Push, אבל לא מוצדק לפתור את הבעיה בצורה כזו. העיצוב של המכשיר – במקרה זה של ידית הדלת ושל מנגנון הפתיחה של הברז – הוא עצמו צריך לרמז על כיוון הפתיחה והסגירה, ואת זה לא קשה לעשות.
כשעושים זאת לא נכון – מקשים על המשתמש. רמת הקושי והתסכול של משתמשים מסוגים שונים משתנה בהתאם ליכולות ההבנה הטכנית והיכולת להתמודד עם חידושים טכנולוגיים. יכולת אנליטית והבנה טכנית מאפיינת את המהנדסים, את המעצבים התעשייתיים ואת אנשי התוכנה העוסקים בפיתוח מוצרים חדשים (אחרת הם לא היו בוחרים במקצוע זה), אבל קהל הצרכנים אינו בהכרח כזה.
אחת הבעיות היא שאם צוותי הפיתוח אינם שמים דגש מיוחד על פשטות ועל קלות התפעול יש להם נטייה לתכנן את ממשקי התפעול בצורה אינטואיטיבית על פי ניסיונם, דהיינו על פי הניסיון של בעלי הגישה הטכנית המובהקים ביותר. ישנם תחומים שבהם מתקבל בהחלט על הדעת שהיוצר יתאים את מוצריו להתנסותו עצמית, ליכולתו האישית או אפילו לטעמו הפרטי. למשל, אם הוא אמן או טבח – מתבקש שכך יעשה. אבל בפיתוח מערכות ובעיצוב ממשקי תפעול הגישה האינטואיטיבית מובילה לממשקי תפעול לא אינטואיטיביים, מורכבים, לא ידידותיים ולא אינטואיטיביים עבור האדם הרגיל. חוסר "ידידותיות" הוא גורם מרכזי בהצלחה ובכישלון של מערכות בכלל ושל מוצרי צריכה בפרט. שימושיות (usefulness) לקויה מביאה לשמישוּת דלה ולכישלון של הרבה מוצרים. שמישות (usability) היא מושג מפתח בתחום הנדסת האנוש והיא מוגדרת כמידת היעילות, הקלות והתועלת בתפעול מוצר על ידי משתמש מוגדר להשגת מטרה מוגדרת ושביעות רצונו מכך.
גם אם הדרך ליצירת הממשק השמיש והנוח ידועה ליצרן, בין שהדבר נובע מאינטואיציה מוצלחת (יש גם מקרים כאלה) ובין שהגיעו לאפיון מיטבי של אופני התפעול של המוצר בטכניקות סדורות המיועדות לכך, עדיין עומדים לפני מהנדס הפיתוח או המעצב מכשולים שיש לעבור בדרך לפיתוח או לעיצוב של מוצר ידידותי. המוצר הסופי הוא פרי של אילוצים רבים, ובפרויקט הפיתוח מעורבים גורמים רבים העלולים להכשיל לגמרי את ממשקי התפעול של המשתמש הסופי. התוצר הסופי עלול לשקף יותר את דעתם של אנשי השיווק למשל, שהרי המוצר צריך גם להימכר, וכמובן את דעתם של אנשי בקרת התקציב. בכלל, מעצבים ומתכננים צריכים להתמודד עם דרישות סותרות, ולפעמים קל יותר לוותר על הדרישה לשמישות לטובת דרישות אחרות.
הצד האפל של הטכנולוגיה
איבוד שליטה
לטכנולוגיה יש צד אפל, ולפיכך אנשים רבים נרתעים מהמרכיבים המאיימים שלה. אבל את התסכול ואת הכעס הגדולים ביותר יוצרים קשיי התפעול. אחד ההיבטים המשמעותיים ביותר של כל תוצרי הטכנולוגיה שנועדו לשימוש אנושי הוא קלות השימוש.
עבור המין האנושי הטכנולוגיה היא אמצעי הסתגלות (אדפטציה) המאפשר את קיומו ושגשוגו. האבולוציה האנושית פיתחה את המוח ואת יכולותיו השכליות, המאפשרות שימוש בשפה, יצירת שיתוף פעולה ושימוש בכלים. יכולות השימוש באש, בגלגל, בכלי קיבול, בכלי עבודה וכמובן בכלי הרג יעילים – כל אלה העניקו יתרון ואפשרו הסתגלות לסביבות המחיה ושליטה בהן. היכולת לפתח כלים היא המקפצה שהזניקה את ההומו סאפיינס בתוך המרחב האבולוציוני. למעשה, המקפצה הטכנולוגית הסיטה את המין האנושי אף מעבר למרחב האבולוציוני, מכיוון שעידן התרבות והטכנולוגיה הביא לשיבוש החוקים המוכרים של האבולוציה הדרוויניסטית. היכולת השכלית, שנוצרה כדי להסתגל אבולוציונית להתמודדות עם העולם, יצרה את התרבות, את המדע ואת הטכנולוגיה, והם מאפשרים למין האנושי לשחק במשחק על-אבולוציוני תוך שינוי חוקי הבררה הטבעית הביולוגית. הסתגלויות אבולוציוניות מוצלחות הן אלו המאפשרות שגשוג של מין ביולוגי ללא צורך בשינוי, והן שורדות וגורמות למין לשרוד עשרות ומאות מיליוני שנים. ההסתגלות של המין האנושי עדיין לא הספיקה להוכיח את עצמה במושגי הזמן של האבולוציה הביולוגית ואינה יכולה להיחשב מוצלחת במבחן היציבות לאורך זמן. אבל העוצמה שלה גורמת לעיוות חוקי האבולוציה הביולוגית על כל המשתמע מכך למין האנושי ולכל יתר המינים.
היום יש לידע ולטכנולוגיה יכולת להשפיע השפעה מכרעת על התפתחותנו, אפילו יותר מהאדפטציות הביולוגיות שהטבע העניק לנו, אבל השאלה היא אם יש לנו תבונה מספקת לניצול הידע המדעי וההנדסי המצטבר. ההבחנה בין הידע הטכנולוגי לתבונה באה לידי ביטוי בסיפורים קדומים של התרבויות המפותחות. היכולת לבנות כנפיים ולעוף בעזרתן הייתה המצאה נהדרת, אבל לא הייתה לאיקרוס תבונה מספקת להשתמש בה בצורה מושכלת, ובהתלהבותו הגביה טוס והתקרב מדי לשמש והתרסק בים. אחד מגיבורי הסיפורים הללו הוא פרומתאוס, שנענש באכזריות על כך שהעניק לאדם את השימוש באש ואת ה"טכנה" (techne), כלומר את הידע ואת המיומנויות המשמשים בסיס לטכנולוגיה כולה. את החטא והעונש של פרומתאוס אפשר לפרש כפשוטם, ואולי באמת רק לכך התכוון המחזאי המקורי – אייסכילוס, אבל אפלטון רואה במעשהו של פרומתאוס חטא מסיבה אחרת: לא מכיוון שמסר לאדם את הידע הטכנולוגי האסור אלא מכיוון שלא מסר יחד אתו את ה"תבונה האזרחית" ואת הידע כיצד לעשות שימוש מושכל בידע זה. כבר במאה ה-4 לפנה"ס זיהה אפלטון את הסכנה הגלומה בטכנולוגיה שלא הוצבו לה סייגי שימוש. מעניין מה היה אומר היום לנוכח התקדמות ה"טכנה" ללא קיומם של סייגים ומעצורים. אבל למרות הסכנות של ה"טכנה", פרומתאוס נחשב לגיבור שהיטיב עם המין האנושי. ה"טכנה" גרמה ללא ספק לשיפור מצבה הכולל של האנושות. למזלנו הטוב, המדע והטכנולוגיה הוכיחו יכולת להתמודדות ביעילות עם הצדדים האכזריים של הקיום האנושי. הם מאפשרים ליצור סביבה מבודדת ומוגנת ולספק כראוי את הצרכים הראשוניים של האדם. וגם מעבר לצרכים הראשוניים, תרומתה החיובית של הטכנולוגיה לחיינו, לבריאותנו ולרווחתנו הולכת וגדלה. כל השוואה של מצבו הנוכחי של האדם לחייו בתקופות קדומות, בכל מדד, מצביעה על שיפור חד, ואף שלא התגברנו על כל פגעי הטבע, החיים אכזריים הרבה פחות בזכות הידע והטכנולוגיה והאמצעים המשוכללים שהשכלנו לפתח בהתמודדותנו עם העולם ועם פגעיו.
עם זאת הצד החיובי של הידע האנושי לווה תמיד בחששות מן הצד האפל של הטכנולוגיה. הטכנולוגיה והתיעוש יצרו גם את הכיעור ואת האומללות של המהפכה התעשייתית ואת זיהום האוויר הנורא שהביאה עמה. הזיהום הסביבתי נותר תוצר לוואי של התעשייה ובעיה בלתי פתורה שתוקפת אותנו בים, באוויר וביבשה עד כדי סכנה מוחשית לקיום החיים על כדור הארץ, ובכלל זה הכחדת המין האנושי.
אם צריך עוד הוכחה לכך שהטכנולוגיה יכולה להיות מסוכנת והרסנית היא מצויה באחד מתחומי הפיתוח האינטנסיביים ביותר – טכנולוגיית מכשירי ההרג כמובן. החשש מהטכנולוגיה לא יכול להיות מוצדק יותר ככל שמדובר בכלי נשק. מפתחים של אמצעי לחימה עשו מאז ומתמיד שימוש בכל תחומי המדע וההנדסה, וכך נרתמו פסגות הידע של הפיזיקה ושל תחומי מדע אחרים לפיתוחם של כלי נשק להרג המוני. ההנדסה המרשימה ביותר קיימת בפלטפורמות ימיות ואוויריות שנועדו לשאת נשק. לצערנו הרב, גם התחום של הנדסת גורמי אנוש צמח על בסיס לקחי שימוש באמצעי לחימה במלחמת העולם השנייה. נכון להיום מאמצי הנדסת האנוש המוקפדים ביותר מושקעים בייצור מערכות הלחימה המורכבות. פיתוח של צוללת אחת או של מטוס קרב אחד זוכה ל"שעות ייעוץ" רבות של מהנדסי אנוש, אולי יותר מכל המוצרים האזרחיים לשימוש ביתי גם יחד. אין ספק שאפלטון ראה את הנולד, זו בדיוק המשמעות של איבוד התבונה האזרחית לריסון הצדדים ההרסניים של ה"טכנה".
המוטיב הספרותי של איבוד שליטה על מנגנון האמור לסייע חוזר על עצמו כבר שנים רבות – אם זה המטאטא המכושף של שוליית הקוסם של גתה מ-1797, פרנקנשטיין של מרי שלי מ-1834 והגולם מפראג, שאף הוא מקורו בסיפור מאותה תקופה. סיפורים אלו נקלטים היטב במוחנו בשל החשש הפסיכולוגי הטבוע בנו מאיבוד שליטה. מנגנון יציר כפיו של האדם שעיצובו יומרני מדי ואינו מובן דיו למשתמש הנו דוגמה טובה לחשש זה. מוטיב אובדן השליטה בטכנולוגיה מופיע גם בספרות המדע הבדיוני ובקולנוע. אחד הסרטים המוקדמים שהיטיבו לפרוט על הנימה הזאת הוא מטרופוליס של פריץ לנג משנת 1927, המציג מציאות עתידנית מעוררת פחד של פועלים הנאלצים לשרת את הצרכים התעשייתיים של החברה ומה קורה כשמכונות משתלטות על המפעילים שלהן.
רובוטים בעלי יכולת הרג הרודפים אחרי בני אדם הוא תרחיש שחושבים עליו רק בהקשר של מדע דמיוני; תרחיש שלא אמור לקרות במציאות, בוודאי לא בימינו אנו. אבל זה לא לגמרי מדויק. כבר היו מקרים של מוות במפעלי תעשייה בעקבות פגיעה של רובוט. אחד מהם קרה ביולי 2015 במפעל הרכבה של פולקסווגן בגרמניה וזכה לסיקור נרחב. טכנאי בן 21 נכנס לכלוב ההגנה שמסביב לרובוט כדי לטפל בו ושם הוכה בחזהו על ידי זרוע הרובוט ונמחץ למוות. ברור שזו הייתה תקלה בטיחותית מהסוג הרגיל, אבל היא העלתה את השאלה אם קרב היום שבו יקומו הרובוטים על יוצריהם וישתמשו בעוצמתם נגד בני אדם. התרחיש הזה נראה בדיוני, אבל הוא קרוב ביותר למציאות של כלי הנשק העצמאיים שנמצאים כבר היום בפעולה. הכוונה לכלים האוטונומיים שיש להם יכולות גבוהות של אינטליגנציה מלאכותית לצד יכולות הרס מרשימות. כיום כבר מופעלים סוגים שונים של רובוטים חצי אוטונומיים, כלומר רובוטים המאתרים את המטרות בעצמם, ורק הלחיצה על ההדק נעשית על ידי מפעילים אנושיים מרוחקים. ואולם הטכנולוגיה כבר מאפשרת לשחרר בשדה הקרב כלים אוטונומיים שקיבלו הוראה להרוג. במציאות זו חוקי המוסר הרובוטי של אסימוב משנות ה-40 האוסרים על הרובוט לפגוע בבני אדם במעשה או במחדל – נראים נאיביים. גם "האל", מחשב החללית האינטליגנטי של ארתור קלארק בספרו 2001 – אודיסאה בחלל, שבתסכולו החליט לשנות את המשימה ולהתנקש באנשי הצוות נשמע כסיפור תמים לנוכח כלי הנשק האוטונומיים הקיימים, הרובוטים שתוכננו מלכתחילה להרוג. בלי להתייחס לרובוטים המשמשים ככלי נשק, נראה שאזרח מן השורה לא צריך לדאוג בשלב זה מפגיעה של רובוטים מן הסוג שאסימוב התכוון אליהם, אבל הוא צריך לחשוש יותר ויותר מיחידות עצמאיות המפעילות מערכות מורכבות; לדוגמה, הוא חייב להיזהר שלא להידרס על ידי מכונית רובוטית אוטונומית. מכוניות אלו תהיינה זהירות יותר מנהגים אנושיים, אבל הסיטואציה עשויה להיות די מלחיצה. גם אם מכונית אוטונומית תעצור להולך רגל במעבר חצייה, האם יש תחליף לתקשורת באמצעות מנוד ראש ומבט העיניים של הנהג האנושי?
