רעש

מבוא
שני סוגי שגיאות

דמיינו שארבע קבוצות חברים מתחרות ביניהן בקליעה למטרה במטווח. בכל קבוצה יש חמישה אנשים, לכל קבוצה יש רובה אחד, וכל אדם יורה ירייה אחת. תרשים 1 מראה את התוצאות.

בעולם אידיאלי כל ירייה היתה פוגעת במרכז המטרה.

תרשים 1: ארבע הקבוצות

קבוצה א' קרובה למצב האידיאלי הזה. פגיעות הקבוצה מרוכזות בצפיפות סביב מרכז המטרה בדפוס פגיעה כמעט מושלם.

לקבוצה ב' אנחנו קוראים מוּטה, מכיוון שהפגיעות שלה סוטות מהמטרה בדפוס עקבי. כפי שממחיש התרשים, עקביוּת ההטיה מאפשרת ניבוי. אילו אחד מחברי הקבוצה היה יורה ירייה נוספת, היינו מהמרים שהפגיעה תהיה באותו האזור שבו פגעו חמש היריות הראשונות. עקביות ההטיה גם מאפשרת להציע הסבר סיבתי: אולי כּוֶונת הרובה של הקבוצה היתה עקומה.

לקבוצה ג' אנחנו קוראים רועשת, מכיוון שהפגיעות שלה מפוזרות מאוד. אין בהן הטיה ברורה, שכן הפגיעות מפוזרות פחות או יותר על פני כל המטרה. אילו אחד מחברי הקבוצה היה יורה פעם נוספת, היינו יודעים מעט מאוד על המקום שבו היה סביר שהירייה תפגע. מעבר לכך, הדפוס הזה לא מעלה בדעתנו שום השערה מעניינת שתסביר את התוצאות של קבוצה ג'. אנחנו יודעים שחברי הקבוצה די גרועים בקליעה למטרה. אנחנו לא יודעים מדוע יש בקבוצה הזאת כל כך הרבה רעש.

קבוצה ד' גם מוּטה וגם רועשת. כמו קבוצה ב', הפגיעות שלה רחוקות מהמטרה באופן עקבי; וכמו קבוצה ג', הפגיעות שלה מפוזרות מאוד. הטיה ורעש — סטייה עקבית ופיזור אקראי — הם מרכיבי שגיאה שונים שהמטרות ממחישות את ההבדל ביניהם.¹

המטווח הוא מטפורה למה שיכול להשתבש בשיפוטים אנושיים, בייחוד בהחלטות המגוונות שאנשים מקבלים בשמם של ארגונים. בסיטואציות כאלה נמצא את שני סוגי השגיאות שממחיש תרשים 1. יש שיפוטים מוּטים; הם סוטים בעקביות מהמטרה. שיפוטים אחרים רועשים, כפי שקורה כאשר אנשים שאמורים להסכים זה עם זה מגיעים לנקודות שונות מאוד סביב המטרה. ולרוע המזל, ארגונים רבים סובלים הן מהטיות והן מרעש.

תרשים 2 ממחיש הבדל חשוב בין הטיה לבין רעש. הוא מציג את מה שהיינו רואים במטווח אילו היו מראים לנו רק את גב המטרות שהקבוצות ירו לעברן, בלי סימון של מרכזי המטרות שבהם השתדלו לפגוע.

תרשים 2: גב המטרות

לפי גב המטרות אי־אפשר לדעת אם קבוצה א' קרובה יותר למטרה מאשר קבוצה ב' או להפך. אבל אפשר לדעת מיד שקבוצות ג' ו־ד' רועשות ושקבוצות א' ו־ב' אינן רועשות. אכן, על מידת הפיזור אפשר ללמוד מתרשים זה לא פחות מאשר מתרשים 1. תכונה כללית של רעש היא שאפשר לזהות ולמדוד אותו בלי לדעת דבר על המטרה או על הטיות.

התכונה הכללית הזאת של הרעש חשובה ביותר למטרותינו בספר הזה, מכיוון שרבות מהמסקנות שלנו נובעות משיפוטים שהתשובות הנכונות לגביהם אינן ידועות או אפילו אינן ניתנות לידיעה. כאשר רופאים מציעים אבחנות שונות לאותו המטופל, אנחנו יכולים לחקור את אי־ההסכמה ביניהם בלי לדעת מאיזה חולי סובל המטופל. כאשר מפיקי סרטים מעריכים את סיכויי ההצלחה של סרט, אנחנו יכולים לחקור את השונוּת בתשובותיהם בלי לדעת כמה הכנסות יהיו מהסרט או אפילו אם בכלל יופק. אנחנו לא צריכים לדעת מי צודק כדי למדוד עד כמה שיפוטים בעניין מסוים יכולים להיות שונים זה מזה. כל מה שעלינו לעשות כדי למדוד רעש הוא להביט בגב המטרה.

כדי להבין שגיאות בשיפוט, עלינו להבין גם מהן הטיות וגם מהו רעש. לפעמים, כפי שנראה, הרעש הוא הבעיה החשובה יותר. אולם בשיח הציבורי על שגיאות שבני אדם עושים, נדיר שמזכירים בכלל את הרעש. ההטיות הן כוכבות המופע והרעש הוא שחקן שולי ובדרך כלל נותר מאחורי הקלעים. הטיות הן נושא שנדון באלפי מאמרים מדעיים ובעשרות ספרי עיון פופולריים, ורק במעטים מהם מוזכר בכלל נושא הרעש. הספר הזה הוא הניסיון שלנו לתקן את חוסר האיזון הזה.

בהחלטות המתקבלות בעולם הממשי כמות הרעש לעתים קרובות גבוהה במידה שערורייתית. לפניכם כמה דוגמאות לכמות מדאיגה של רעש בסיטואציות שבהן יש חשיבות רבה לדיוק:

• רעש ברפואה. רופאים שונים שבודקים את אותם המטופלים מפיקים שיפוטים שונים בנוגע לשאלה אם יש להם סרטן עור, סרטן שד, מחלת לב, שחפת, דלקת ריאות, דיכאון או אין־ספור מצבים אחרים. רמת הרעש גבוהה במיוחד בפסיכיאטריה, שבה יש כמובן חשיבות רבה לשיפוטים סובייקטיביים. אולם רעש ניכר מצוי גם בתחומים שבהם נראה שהוא פחות צפוי, למשל בפיענוח צילומי רנטגן.

• רעש בהחלטות על משמורת ילדים.² עובדים סוציאליים חייבים להעריך אם ילדים נתונים בסכנת הזנחה או התעללות, ובמקרה כזה, אם להעביר אותם למשפחת אומנה. המערכת רועשת: חלק מהעובדים הסוציאליים נוטים הרבה יותר מאחרים לשלוח ילדים למשפחות אומנה. שנים לאחר מכן שיעור גבוה יותר מהילדים חסרי המזל האלה, שאותם עובדים סוציאליים קשוחים שלחו למשפחות אומנה, סובלים מתוצאות גרועות בחייהם: שיעור עבריינות גבוה יותר, יותר לידות בגיל העֶשרה והכנסה נמוכה יותר.

• רעש בתחזיות. אנשים שתפקידם להפיק תחזיות מציגים הערכות מגוונות ביותר בדבר סיכויי המכירות של מוצר חדש, הצמיחה הצפויה בשיעור האבטלה, סיכויי פשיטת הרגל של חברות הנקלעות לקשיים וכמעט כל דבר אחר. ויש אי־התאמה לא רק בין תחזיותיהם של אנשים שונים אלא גם בין תחזיות שונות של אותו אדם. לדוגמה, כאשר ביקשו מאותם מפתחי תוכנה, בימים שונים, להעריך כמה זמן ייקח להשלים את אותה המשימה, השונוּת הממוצעת במספרי השעות בהערכותיהם הגיעה ל-71%.³

• רעש בהחלטות על בקשות מקלט. ההחלטות אם לאפשר למבקשי מקלט להיכנס לארצות הברית מתקבלות בערך כמו בהגרלה. מחקר שבדק בקשות של מבקשי מקלט שנמסרו באקראי לשופטים שונים, מצא ששופט אחד אישר 5% מהבקשות, ואילו שופט אחר אישר 88% מהבקשות. המחקר התפרסם עם הכותרת הקולעת: "רולטת הפליטים".⁴ (בהמשך נראה הרבה רולטות.)

• רעש בהחלטות על העסקת עובדים. אנשים שונים המראיינים את אותם המועמדים לעבודה מגבשים לגביהם דעות שונות מאוד. גם בהערכות או בציונים שאותם עובדים מקבלים על ביצועיהם יש שונוּת רבה; והם תלויים יותר במי שמעריך את ביצועיהם מאשר בביצועים עצמם.

• רעש בהחלטות על שחרור בערבות. ההחלטה אם לשחרר בערבות אדם שמואשם בפשע או לשלוח אותו למעצר תלויה בזהות השופט שבפניו מובא התיק. חלק מהשופטים מקלים הרבה יותר מאחרים. הם גם שונים מאוד בהערכותיהם לגבי השאלה לאילו מהנאשמים יש סיכוי גבוה לברוח או לחזור לבצע פשעים.

• רעש בזיהוי פלילי. התרגלנו לחשוב שאין מקום לטעויות בזיהוי טביעות אצבע. אולם לפעמים אין הסכמה בין מומחי זיהוי פלילי המנסים לקבוע אם טביעת אצבע שנמצאה בזירת פשע מתאימה לזו של חשוד. לא זו בלבד שאין הסכמה בין המומחים, אלא שלפעמים יש חוסר עקביות במסקנותיהם של אותם המומחים כשאותה טביעת אצבע מוצגת להם בהזדמנויות שונות. שונוּת דומה תועדה בתחומים אחרים של זיהוי פלילי, אפילו בבדיקות די־אן־אי.

• רעש בהחלטות על אישור פטנטים. מחברי מחקר מוביל על בקשות לרישום פטנטים מתייחסים גם לרעש הכרוך בכך: "יש קשר משמעותי בין החלטת משרד הפטנטים לאשר או לדחות פטנט לבין זהותו של הפקיד שלידיו הבקשה במקרה נמסרת."⁵ מובן שהשונוּת הזאת מטרידה מנקודת הראות של היחס השווה.

כל מצבי הרעש האלה הם קצה קצהו של קרחון גדול. בכל מקום שיש בו שיפוטים אנושיים, צפוי להימצא רעש. כדי לשפר את איכות השיפוטים שלנו, עלינו להתגבר לא רק על הטיות אלא גם על הרעש.

הספר הזה מחולק לשישה חלקים. בחלק 1 אנחנו עוסקים בהבדל בין רעש לבין הטיות, ומראים שארגונים פרטיים וציבוריים כאחד עלולים להיות רועשים — לפעמים בקנה מידה מזעזע. כדי להמחיש את הבעיה אנחנו מתחילים בשיפוטים בשני תחומים. הראשון נוגע לעונשים על עבירות פליליות (ושייך אפוא למגזר הציבורי). השני לקוח מתחום הביטוח (ושייך אפוא למגזר הפרטי). במבט ראשון נדמה שמדובר בשני תחומים שונים בתכלית. אבל במה שנוגע לרעש, יש להם הרבה במשותף. כדי להראות זאת אנחנו מציגים את רעיון ביקורת הרעש כדרך למדוד את אי־ההסכמה השוררת בקרב אנשי המקצוע הבוחנים את אותם המקרים בתוך ארגון.

בחלק 2 אנחנו חוקרים את טבעם של השיפוטים שמפיקים בני אדם ובודקים כיצד למדוד דיוק ושגיאות. שיפוטים עלולים להיות מושפעים הן מהטיות והן מרעש. אנחנו מתארים שקילוּת מפתיעה בין התפקידים שממלאים שני סוגי השגיאות האלה. רעש מזדמן הוא השונוּת בשיפוטים של אותו אדם או של אותה קבוצה בהתייחס לאותו מקרה בהזדמנויות שונות. כמות מפתיעה של רעש מזדמן מתעוררת בדיונים קבוצתיים כתוצאה מגורמים בלתי רלוונטיים כביכול, כגון מיהו האדם שמדבר ראשון.

בחלק 3 אנחנו מתבוננים יותר לעומק בסוג מסוים של שיפוטים שנחקר בהרחבה: שיפוטי ניבוי. אנחנו חוקרים את היתרונות שיש לכללים, לנוסחאות ולאלגוריתמים על פני בני אדם בניבוי. בניגוד לאמונה הרווחת, אין זה משום שבכללים גלומה תובנה משופרת כלשהי, אלא משום שבכללים אין רעש. אנחנו דנים בגורם המגביל יותר מכול את איכותם של שיפוטי ניבוי — הבורוּת האובייקטיבית בהתייחס לעתיד — ובדרך שבה הבורוּת והרעש עושים יד אחת להגבלת איכות הניבוי. לבסוף אנחנו מטפלים בשאלה שבשלב זה אתם צפויים כמעט בוודאות לשאול את עצמכם: אם הרעש באמת כל כך שכיח, איך זה שלא הבחנו בו כבר מזמן?

חלק 4 פונה לעסוק בפסיכולוגיה אנושית. אנחנו מסבירים את הסיבות המרכזיות לרעש. הן כוללות הבדלים בין אנשים הנובעים ממגוון גורמים ובהם סגנונות אישיוּת וסגנונות קוגניטיביים; וריאציות ייחודיות במשקל המיוחס לשיקולים שונים; ושימושים שונים שאנשים עושים בסולמות זהים. אנחנו בודקים מדוע אנשים אינם שמים לב לרעש ומדוע לעתים תכופות הם אינם מגיבים בהפתעה לאירועים ולשיפוטים שאותם בשום פנים ואופן לא יכלו לצפות מראש.

חלק 5 עוסק בשאלה המעשית כיצד תוכלו לשפר את השיפוטים שלכם ולמנוע שגיאות. (קוראים שמתעניינים בעיקר ביישומים המעשיים של הפחתת הרעש יכולים לדלג על הדיון באתגרי הניבוי ובפסיכולוגיה של השיפוטים בחלקים 3 ו-4 ולהמשיך היישר לחלק זה.) אנחנו חוקרים את המאמצים להתמודד עם רעש ברפואה, בעסקים, בחינוך, בממשל ובתחומים אחרים ומציגים כמה טכניקות להפחתת רעש שאנחנו מקבצים תחת הכותרת היגיינת החלטות. אנחנו מציגים חמישה מקרי מבחן מתחומים שתועד בהם רעש רב, שנעשו בהם מאמצים ממושכים להפחתתו, ושיש מה ללמוד מדרגות ההצלחה השונות של המאמצים האלה. מקרי המבחן כוללים אבחנות רפואיות בלתי מהימנות, הערות וציונים על ביצועים, זיהוי פלילי, החלטות על קבלת מועמדים לעבודה וחיזוי באופן כללי. לבסוף אנחנו מציגים שיטה המכונה פרוטוקול ההערכות המתווכות: גישה רב־תכליתית להערכת אפשרויות, הכוללת פרקטיקות חשובות של היגיינת החלטות, אשר נועדה לעזור להפיק שיפוטים רועשים פחות ואמינים יותר.

מהי דרגת הרעש הנכונה? זאת השאלה שחלק 6 פונה לעסוק בה. הרמה הנכונה, אולי בניגוד לאינטואיציה, אינה אפס. יש תחומים שבהם פשוט אי־אפשר להיפטר מהרעש. באחרים ההיפטרות מהרעש כרוכה בעלות גבוהה מדי. ויש תחומים שבהם מאמצים להפחתת הרעש יפגעו בערכים מתחרים חשובים. לדוגמה, מאמצים להפחתת רעש יכולים לפגוע במורל ולתת לאנשים הרגשה שמתייחסים אליהם כמו לברגים במכונה. כאשר אלגוריתמים הם חלק מהתשובה, הם מעלים התנגדויות מגוונות, ואנחנו מטפלים כאן בחלקן. על כל פנים, רמת הרעש הנוכחית אינה כזו שאפשר להשלים עמה. אנחנו מפצירים הן בארגונים פרטיים והן בארגונים ציבוריים לערוך ביקורות רעש ולפעול להפחתת הרעש ביתר נחישות וברצינות רבה מבעבר. ארגונים שיעשו זאת יוכלו להפחית את אי־ההוגנות הרווחת בהם — וגם לצמצם את העלויות בתחומים רבים.

לאור השאיפה הזאת, אנחנו חותמים כל פרק בשורת הצעות קצרות המובאות כציטוטים. אתם יכולים להשתמש במשפטים האלה כפי שהם או להתאים אותם לנושאים החשובים לכם ולא משנה באיזה תחום — בריאות, חינוך, כסף, תעסוקה, בידור או כל תחום אחר. הבנתן של בעיות הרעש והניסיונות לפתור אותן הם נושא מחקר פעיל ופעילות קולקטיבית, ולכולנו יש הזדמנויות לתרום את חלקנו. הספר הזה נכתב בתקווה שנשכיל לנצל את ההזדמנויות האלה.

חלק 1
גילוי הרעש

לא מתקבל על הדעת שעל שני אנשים דומים שהורשעו באותה עבירה נגזרים עונשים שונים במידה קיצונית — נאמר חמש שנות מאסר על האחד ולא יותר מתקופת מבחן על האחר. אבל דברים כאלה קורים במקומות רבים. אין ספק שלמערכת המשפט הפלילי חדרו גם הטיות. אבל בפרק 1 אנחנו מתמקדים בנושא הרעש — ובפרט במה שקרה כאשר שופט מפורסם הפנה תשומת לב לרעש, מצא שהוא שערורייתי ויצא למלחמה שבמובן מסוים שינתה את העולם (אבל לא מספיק). הסיפור שלנו מתרחש בארצות הברית, אבל אנחנו בטוחים שאפשר לספר הרבה סיפורים דומים (והם אכן עוד יסופרו) על הרבה מדינות אחרות. בחלקן קרוב לוודאי שבעיית הרעש חמורה אפילו יותר מאשר בארצות הברית. אנחנו משתמשים בדוגמת הענישה בין השאר כדי להראות שרעש יכול לחולל אי־הוגנות רבה.

ענישה פלילית כרוכה ברמה גבוהה במיוחד של דרמה, אבל אותנו מעסיק גם המגזר הפרטי, שגם שם לפעמים הרבה מונח על כפות המאזניים. כדי להמחיש את הנקודה הזאת, בפרק 2 נעסוק בחברת ביטוח גדולה, שבה חַתָּמים צריכים לקבוע את פרמיות הביטוח של לקוחות פוטנציאליים, ופקידי תביעות צריכים לשפוט את ערכן של התביעות. אולי אתם מצפים שאלה יהיו משימות פשוטות ומכניות, ושאנשי מקצוע שונים ינקבו פחות או יותר באותם סכומים. ערכנו ניסוי שתוכנן בקפידה — ביקורת רעש — כדי להעמיד את הניבוי הזה במבחן. התוצאות הפתיעו אותנו, אבל מה שחשוב יותר הוא שהן עוררו תדהמה ורוגז בקרב הנהלת חברת הביטוח. התברר לנו שנפח הרעש העצום עולה לחברה הרבה מאוד כסף. אנחנו משתמשים בדוגמה הזאת כדי להראות שרעש יכול לגרום להפסדים כלכליים גדולים.

שתי הדוגמאות האלה מבוססות על מחקרים שהקיפו מספר גבוה של בני אדם שהפיקו מספר גבוה של שיפוטים. אבל שיפוטים חשובים רבים אינם שיפוטים חוזרים ונשנים אלא שיפוטים סינגוּלָריים: כיצד להתייחס להזדמנות עסקית שנראית ייחודית? האם להכניס לשוק מוצר חדש לגמרי? כיצד להתמודד עם מגפה עולמית? האם לקבל לעבודה מועמד עם פרופיל שונה מהסטנדרטי? האם אפשר למצוא רעש בהחלטות הנוגעות לסיטואציות ייחודיות כאלה? מפתה לחשוב שבמקרים כאלה אין רעש; הרי רעש הוא שונוּת בלתי רצויה, אז איך יכולה להיות שונוּת בהחלטות חד־פעמיות? בפרק 3 אנחנו מנסים להשיב על השאלה הזאת. אפילו בסיטואציות שנראות ייחודיות, השיפוט המופק בפועל הוא אחד מתוך ענן של אפשרויות, וגם שם נמצא הרבה רעש.

את המסקנה המסתמנת מכל שלושת הפרקים האלה אפשר לסכם במשפט אחד, שיהפוך לנושא חוזר מרכזי בספר הזה: בכל מקום שיש בו שיפוטים יש רעש — והרעש הזה חזק מכפי שנהוג לחשוב. הבה נתחיל לגלות עד כמה.