אנשים חכמים — החלטות מטופשות: מלכודת האינטליגנציה

להאזנה: גרסת השמע המלאה של המאמר

שלמה החכם באדם ידע לשפוט. כששתי נשים באו אליו וכל אחת טענה שהתינוק החי שלה, הוא לא ניסה לברר איזו מהן מספרת סיפור משכנע יותר. הוא יצר מצב שבו עצם התגובה של כל אחת תחשוף אותה בצורה עמוקה. הסיפור נשאר כבר אלפי שנים כדימוי כמעט מושלם של חוכמה: לראות בתוך סבך של גרסאות את האמת שאחרים אינם רואים.

אבל אותו שלמה לא הצליח לנהוג בחייו שלו באותה חוכמה. האיש שידע לראות בני אדם מבחוץ בצורה חדה לא ראה באותו אופן את המחירים של תשוקותיו, קשריו וכוחו. הכתוב מסכם זאת במשפט אחד: "וַיְהִי לְעֵת זִקְנַת שְׁלֹמֹה נָשָׁיו הִטּוּ אֶת־לְבָבוֹ" (מלכים א', י"א, ד').

אפשר לספר את הסיפור הזה כאזהרה עתיקה: אפילו אנשים חכמים עושים דברים מטופשים. אבל זו כבר מזמן אינה השאלה.

חמישים שנה של מחקר בקבלת החלטות וכלכלה התנהגותית לימדו אותנו שאינטליגנציה אינה הופכת אדם לרציונלי. אנחנו מושפעים מן האופן שבו שאלה מוצגת, מן העמדה שכבר החזקנו בה, מהפסד שאנחנו חוששים ממנו, מן הקבוצה שאליה אנחנו שייכים ומן הסיפור שכבר סיפרנו לעצמנו.

אפילו היכולת לזהות הטיות אצל אחרים אינה מבטיחה שנזהה אותן בעצמנו. ריצ'רד ווסט, ראסל מזרב וקית' סטנוביץ' מצאו במחקרם על ה־bias blind spot שתחכום קוגניטיבי — לרבות יכולת קוגניטיבית ונטיות חשיבה שנחשבות מגינות מפני הטיות — לא ביטל את הנטייה לזהות הטיות אצל אחרים ביתר קלות מאשר אצל עצמנו. הם אף מצאו שבחלק מן המדדים הכתם העיוור היה גדול יותר אצל בעלי יכולת קוגניטיבית גבוהה, אם כי אין מכאן להסיק שאנשים אינטליגנטיים מוטים יותר באופן כללי. (West, Meserve & Stanovich, 2012).

גם "פרדוקס שלמה" קיבל צורה ניסויית. איגור גרוסמן ואיתן קרוס מצאו שאנשים חשבו באופן שהחוקרים הגדירו כחכם יותר — יותר הכרה בגבולות הידע, יותר נכונות לראות נקודות מבט שונות ויותר הכרה באפשרות של שינוי — כאשר חשבו על קונפליקט של אדם אחר מאשר על קונפליקט שלהם עצמם. יצירת מרחק מן העצמי צמצמה את הפער. (Grossmann & Kross, 2014; ראו גם Kross & Grossmann, 2012).

כל זה מעניין. אבל אנחנו כבר יודעים שאנחנו מוטים. השאלה הקשה מתחילה אחר כך. מה קורה כשהאינטליגנציה עצמה יודעת את כל זה? מה קורה לאדם שמכיר את כהנמן ואת אריאלי, שיודע שיש לו הטיית אישור, שמזהה את האופן שבו פחד משנה את השיפוט שלו, שמסוגל אפילו לעצור ולשאול אם הוא משתמש עכשיו בכושר החשיבה שלו כדי להצדיק דבר שכבר רצה? אם הידיעה הייתה מוציאה אותנו מן המלכודת, כל ספר על הטיות היה גם חיסון נגדן.

הוא אינו.

אינטליגנציה אינה רק יכולת להבין

יש הנחה סמויה כמעט בכל השיחה על אינטליגנציה: אינטליגנציה היא כלי עבודה שאנחנו מחזיקים ביד. ככל שהכלי טוב יותר, אנחנו מסוגלים לראות טוב יותר, לחשב טוב יותר, להבין יותר. אבל אינטליגנציה אינה רק כלי. אינטליגנציה היא כוח.

וכפי שכבר כתבתי על כלים וטכניקות, כלי העבודה שלנו אינם רק משנים את האובייקט שעליו אנחנו עובדים. הם משנים גם אותנו, את השאלות שאנחנו מסוגלים לשאול ואת התשובות שנראות לנו אפשריות. המוח והחשיבה אינם יוצאים מן הכלל; הם הכלים הקרובים אלינו ביותר. באתר כבר ניסחתי זאת דרך דייוויד בוהם: חשיבה אינה רק דבר שאנחנו עושים — היא מערכת שגם פועלת על החושב.

האינטליגנציה אינה רק מגלה קשרים. היא יוצרת קשרים. היא אינה רק קוראת סיפורים. היא מסוגלת לבנות סיפור. היא אינה רק מבחינה באפשרויות. היא ממציאה אפשרויות.

היא מסוגלת לקחת חשד קטן ולחבר אליו עשרים פרטים. לקחת פחד ולתת לו עתיד. לקחת עלבון ולהעניק לו היסטוריה, סיבתיות ומשמעות. לקחת עמדה פוליטית ולבנות עבורה מערכת שלמה של ראיות, יוצאים מן הכלל, הסברים ותשובות לביקורת.

אדם אינטליגנטי אינו רק אדם שרואה יותר. יש לו יותר כוח לבנות.

וזה נכון לשני הכיוונים. אותו כוח יכול לפרק ולהרוס עולם שהיה סגור וקפוא, לראות מוצא במקום שבו אחרים רואים קיר, להמציא מושג חדש, לשנות תיאוריה, ליצור עבודה שאיש לא ידע קודם שאפשר ליצור. באתר כתבתי שוב ושוב על יצירתיות כתנועה מחזורית של בנייה והרס — לא משום שהרס הוא ערך בפני עצמו, אלא מפני שמבנה שכבר הצליח יכול להפוך בעצמו למה שמונע מאתנו לראות אפשרות אחרת.

אבל משום כך אין שום סיבה להניח שהכוח הזה תמיד יעבוד בשביל האמת. אפשר לומר זאת חריף יותר: אנחנו חושבים שאינטליגנציה נותנת לנו יותר יכולת להבין את המציאות ואת עצמנו. אבל היא יכולה באותה מידה לתת למה ששולט בנו יותר כוח לפעול דרכנו. פחד עם אינטליגנציה מקבל יותר תרחישים. קנאה עם אינטליגנציה מקבלת יותר ראיות. אידאולוגיה עם אינטליגנציה מקבלת יותר שיטה. תשוקה עם אינטליגנציה מקבלת יותר דרכים להגיע אל מטרתה.

האינטליגנציה אינה בהכרח הנהג. לפעמים היא המנוע.

כשמודל מקבל כוח

רוברט מקנמרה הוא דוגמה טובה משום שהסיפור שלו כמעט הפוך מהקלישאה על אדם אינטליגנטי שנכנע לרגשותיו.

מקנמרה הגיע לפנטגון עם אמונה עמוקה בכוחם של נתונים, ניתוח מערכות ומדידה. משרד ההגנה האמריקאי מתאר את הכנסת ה־systems analysis תחת מקנמרה כבסיס לקבלת החלטות מרכזיות על כוחות ומערכות נשק; הרעיון היה לפרק בעיה מורכבת לרכיבים שניתן לנתח כל אחד מהם באופן שיטתי. (Department of Defense Historical Office).

במלחמת וייטנאם נבנה תחת חסותו מערך עצום של איסוף נתונים. הארכיון הלאומי האמריקאי מתאר כיצד נאספו בצורה ממוחשבת נתונים על אבדות, מבצעים, לוגיסטיקה, תוכניות "פייסיפיקציה" ומרכיבים רבים אחרים של המלחמה, וכיצד ניתוחים סטטיסטיים וכמותיים שימשו להערכת המצב ולהשפעה על ניהולו. (National Archives).

הבעיה כאן אינה שהמספרים היו שקר. דווקא להפך. הם היו מספרים. אפשר למדוד כמה מטרות הותקפו, כמה תחמושת נורתה, כמה לוחמים נהרגו, כמה אזורים הוגדרו בטוחים.

ההיסטוריון גרגורי דדיס, שחקר את ניסיונות הצבא האמריקאי למדוד הצלחה בווייטנאם, מראה שהבעיה לא הייתה מחסור בנתונים אלא כמעט ההפך: כמויות עצומות של עובדות, מספרים ומדדים לא הצליחו בהכרח לומר אם ארצות הברית אכן מתקדמת במלחמה פוליטית־צבאית מורכבת. במקרים מסוימים נעשתה ההישענות על אינדיקטורים סטטיסטיים תחליף להבנה רחבה יותר של הסכסוך. (Daddis, No Sure Victory, 2011; "The Problem of Metrics", 2012).

ואז קורה דבר עדין ומסוכן: הדבר שאפשר למדוד מתחיל להגדיר את הדבר שאנחנו מנסים להבין. המודל כבר אינו רק מתאר את המלחמה. המלחמה מתחילה להתארגן סביב המודל. ספירת גופות, למשל, נעשתה אחד המדדים החשובים להערכת הצלחה. דדיס מתאר לא רק את השימוש בה אלא גם את הלחץ שנוצר סביב הצורך להציג תוצאות דרך המדד הזה. ברגע שמספר נעשה הוכחה להצלחה, הארגון מתחיל לפעול כדי לייצר את המספר. אם התקדמות מקבלת מספר, אנשים מתחילים לפעול על המספר.

המודל קיבל כוח.

דונלד קמפבל ניסח ב־1979 אזהרה כללית יותר על מדדים חברתיים: ככל שמדד כמותי מקבל תפקיד חשוב יותר בקבלת החלטות, כך גדלים הלחצים המופעלים עליו, והם עלולים להשחית הן את המדד והן את התהליך שאותו נועד למדוד. (Campbell, 197990048-X)).

מרילין סטרתרן הראתה שנים אחר כך כיצד מנגנוני הערכה וביקורת באוניברסיטאות אינם נשארים ניטרליים מבחוץ: למערכת המדידה מתחילים להיות "חיים משלה", והיא משנה את הפעילות שאותה הייתה אמורה רק לבדוק. (Strathern, 1997).

וזה אינו סיפור ייחודי למלחמת וייטנאם. הוא חוזר כמעט בכל מקום שבו בני אדם מצליחים להפוך מציאות מורכבת למערכת שניתן למדוד ולייעל.

הפיל והרוכב — כוחו של ציור יפה

ג'ונתן היידט הציע ב־The Happiness Hypothesis דימוי מבריק: פיל ורוכב. הרוכב מייצג את החשיבה המודעת והמנומקת; הפיל את המערכות האוטומטיות והאינטואיטיביות, והרוכב אינו מסוגל פשוט לשלוט בפיל בכוח. קשה לשכוח את הדימוי הזה. וזה חלק מכוחו.

הוא מסביר מדוע אנחנו רוצים משהו ואז מוצאים לו נימוקים. מדוע אנחנו כועסים על אדם ולפתע נעשים רגישים במיוחד לכל פגם שלו. מדוע אנחנו מחזיקים בעמדה פוליטית והמציאות מתחילה להציע לנו באופן נדיב כל כך את הראיות הדרושות לנו.

אבל אולי הבעיה בדימוי הזה אינה רק שהוא מחלק אותנו לשני חלקים. הבעיה היא שהוא יפה מדי. פיל. רוכב. שני כוחות. יחס ברור ביניהם. פתאום עולם מסובך נעשה ציור שאפשר לזכור. אנחנו אוהבים הסברים כאלה.

המדע אוהב אותם מסיבות טובות. מודל טוב מסלק אינספור פרטים ומאפשר לראות מבנה. חשיבה מופשטת והפשטה מאפשרות לתפוס קשר שמאות תיאורים לא היו מאפשרים לראות. תיאוריה אלגנטית יכולה לאחד תופעות שנראו קודם בלתי קשורות.

בלי ההפחתה הזאת אין מדע. אבל יש רגע שבו ההצלחה של המודל מתחילה לפעול נגדנו: אנחנו שוכחים שהאלגנטיות הייתה תכונה של המודל ומתחילים לדרוש אותה מן המציאות. הפיל והרוכב כבר אינם דרך אחת לראות את האדם. פתאום האדם נעשה פיל ורוכב.

אולי המציאות עצמה אינה נשארת אותה מציאות

אנחנו רגילים לתאר הטיה כאילו יש עולם אחד, ניטרלי, ועליו מתלבשות הפרשנויות שלנו. אבל כשאנחנו בהיריון, נדמה לפתע שכולן בהיריון. כשאנחנו עומדים לקנות מכונית מסוימת, היא מופיעה פתאום בכל כביש. כשקשר נעשה מאוים, משפט שבעבר היה עובר כמעט בלי להירשם יכול להפוך לאירוע. זה יותר מ"חשיבה מוטה". משהו משתנה במה שבולט, במה שמתחבר למה, במה שנזכר, במה שנעשה אפשרי לחשוב.

וזה מתחבר לטענה רחבה יותר שכבר פיתחתי בכנגד ויסות רגשי: איננו חייבים לדמיין תחילה "רגש" כאובייקט פנימי, ואז עצמי רציונלי שאמור למדוד אותו, לפרש אותו ולנהל אותו. הדף ההוא כבר שאל כיצד עצם הכלים והשיטות שבהם אנחנו משתמשים משנים אותנו, את השאלות שאנחנו שואלים ואת התשובות שנוכל לקבל.

החלוקה הזאת עצמה היא מודל. והמודל עושה משהו. הוא הופך מצב חי ורב־ממדי ליחידות שניתן לזהות, להגדיר, למדוד — ואז גם לנהל. אינטליגנציה אינה רק קוראת את המציאות. היא משתתפת בכתיבתה ובדרך שבה אנחנו מסוגלים לחיות ולפעול בתוכה.

אולי האינטליגנציה אינה נכשלת

כאן "מלכודת האינטליגנציה" מקבלת משמעות אחרת. כאשר אדם אינטליגנטי נופל להטיה, אנחנו אומרים שהאינטליגנציה שלו נכשלה. אבל ההגדרה הזאת כבר מניחה מה הייתה אמורה לעשות: להגיע לאמת. אלא שבני אדם לא נבנו רק כדי לענות נכון על שאלות. אנחנו צריכים להישאר שייכים. לשמור קשר. להגן על משהו שאנחנו אוהבים. להמשיך לפעול מחר בבוקר. להחזיק סיפור כלשהו על עצמנו.

לזהות סכנה. לייצר תקווה. לפעמים גם לא לדעת דבר שאנחנו עדיין לא מסוגלים לשאת. כאשר אינטליגנציה פועלת בתוך מערכת כזאת, היא אינה מקבלת בכל רגע משימה אחת: "גלה את האמת". אולי לפעמים האינטליגנציה אינה נכשלת. אולי אנחנו טעינו בהגדרת המשימה שלה. וזו טענה הרבה יותר מטרידה מן האמירה שאנשים חכמים עושים טעויות. אם אינטליגנציה היא כוח, היא אינה מתקנת בהכרח מבנה שגוי. היא יכולה לתת למבנה השגוי יותר ראיות, יותר גמישות, יותר יכולת להשתנות מול ביקורת — ובדיוק משום כך יותר כוח לשרוד.

מבנה שגוי שקיבל אינטליגנציה אינו בהכרח מתקרב אל האמת. הוא יכול להפוך קשה יותר לפירוק.

הפיתוי של אופטימיזציה

אופטימיזציה נראית כמו פעולה טכנית: יש מטרה, ואנחנו מחפשים את הדרך הטובה ביותר להגיע אליה. אבל המהלך המכריע התרחש עוד לפני שהתחלנו לייעל. מישהו כבר החליט מה נחשב הצלחה.

מרגע שהחלטנו מה למקסם, העולם מתחיל להסתדר סביב הציר הזה. דברים שונים נעשים בני־השוואה. איכויות מקבלות משקל. זמן, מאמץ, תוצאה, סיכון, יצירתיות, כאב — כל מה שניתן להכניס למערכת מקבל מקום; מה שאינו ניתן להכניס אליה מתחיל להיראות כחריגה, רעש או מחיר צדדי.

זהו הכוח העצום של אופטימיזציה: היא אינה רק מוצאת דרך טובה יותר בתוך מציאות נתונה. היא מייצרת מציאות שבה יש דרך טובה יותר. כדי לעשות זאת היא חייבת להפוך ריבוי לציר. אם בית ספר ממקסם הישגים, תלמיד נעשה גם ציון. אם בית חולים ממקסם תפוקה, טיפול נעשה גם מספר פעולות בזמן. אם רשת חברתית ממקסמת מעורבות, תשומת הלב האנושית נעשית יחידה שאפשר ללכוד ולהאריך. ואם אדם ממקסם אושר, גם החיים הפנימיים מתחילים להישפט לפי השאלה אם הם מקדמים אותו לעבר מצב רצוי.

הפילוסוף C. Thi Nguyen מכנה תנועה קרובה לכך value capture — "לכידת ערך". ערכים אנושיים מתחילים כמשהו עשיר, מעורפל ורב־ממדי; ואז סביבה חברתית מציעה לנו גרסה בהירה ופשוטה שלהם, לעיתים קרובות מספרית — מספר צעדים, ציונים, לייקים, דירוגי מוסדות, מספר ציטוטים — והגרסה הפשוטה מתחילה בהדרגה להשתלט על הדרך שבה אנחנו חושבים על הערך עצמו. (Nguyen, "Value Capture", 2024).

ב־Games: Agency as Art הוא מתאר את הפיתוי של משחקים כ־value clarity: בתוך משחק ברור מה המטרה, הישגים ניתנים לכימות ולדירוג, ואנחנו יודעים אם הצלחנו. הסכנה מתחילה כשאנחנו מייבאים את הכמיהה לבהירות הזאת אל מחוץ למשחק ודורשים אותה גם מערכים אנושיים הרבה יותר מסובכים. (Nguyen, Games: Agency as Art, 2020).

זה חשוב משום שהמדד אינו רק ייצוג פחות־מושלם של הדבר שאותו אנחנו באמת רוצים. הוא יכול להתחיל לשנות את מה שאנחנו רוצים. אנחנו מתחילים לרצות את הציון. את הדירוג. את המספר. את היעד. לא משום ששכחנו בהכרח את הערך המקורי, אלא משום שהמספר חד יותר, ברור יותר, קל יותר להצדקה וקל יותר לדעת אם הצלחנו בו. בכל אחד מן המקרים המערכת עשויה להיעשות יעילה יותר ויותר — דווקא משום שהיא לומדת לראות פחות.

לא מפני שהיא טיפשה. מפני שהיא נעשית אינטליגנטית מאוד ביחס למה שהוגדר עבורה כחשוב. וכאן האופטימיזציה מתחילה להיות מסוכנת באמת. היא אינה צריכה להכחיש דבר שאינו מתאים לה. היא יכולה לתרגם אותו. סתירה נעשית פגם שיש להסיר. עמימות נעשית אי־ודאות שצריך לצמצם. חריגה נעשית סטייה. כישלון נעשה נתון לשיפור. משהו שאי אפשר להצדיק במונחי המטרה נעשה בזבוז. אפילו קונפליקט בין שני דברים שאיננו מוכנים לוותר על אף אחד מהם מזמין מיד את השאלה:

מהו האיזון האופטימלי ביניהם? אבל אולי זו בדיוק הטעות. יש מתחים שאינם שתי דרישות המתחרות על אותו משאב. הם אינם ממתינים למשקל הנכון במודל. הם מייצרים את המערכת עצמה. קרבה ומרחק. חופש ותלות. יציבות ושינוי. שליטה ואובדן שליטה. הצורך להשתייך והצורך להיות נפרד. אם נצליח "לפתור" אותם לחלוטין, ייתכן שלא פתרנו את המערכת. ייתכן שהרגנו את התנועה שממנה היא חיה. לכן אופטימיזציה עושה פעולה עמוקה יותר מייעול:

היא הופכת את השאלה "איך לחיות בתוך הסתירה?" לשאלה "איך להסיר אותה?". וברגע שהמהלך הזה נעשה מובן מאליו, אנחנו כבר לא רק משתמשים באופטימיזציה. אנחנו מתחילים לדמיין שהמציאות עצמה אמורה להיות אופטימלית.

מצוינות: כשהבדלים נעשים לסולם

אולי לכן יש בי אי־נוחות עמוקה מול המילה "מצוינות". לכאורה זו אחת המילים שקשה להתנגד להן. מי רוצה לא להיות מצוין? אבל המילה כבר עשתה פעולה לפני שהתחלנו להתווכח עליה. כדי לדבר על מצוינות צריך להיות מסוגלים לשאול: מי טוב יותר? איזה תלמיד מצוין יותר? איזה עובד? איזה חוקר? איזה מוסד? איזו יצירה? עולם שיש בו איכויות שונות נדרש לפתע לעמוד על סולם. ומה עושים כשאדם מקורי מאוד אבל לא עקבי?

כשחוקר מבריק מפרסם מעט? כשילד סקרן מאוד אבל מסרב לבצע את מה שהמערכת מודדת? כשאמן עושה עבודה כושלת שיש בה דבר חי יותר מעשר עבודות "מצוינות"? אנחנו מוסיפים קריטריונים. מייצרים משקולות. כלומר — אנחנו עושים בדיוק את מה שהאינטליגנציה יודעת לעשות היטב: אנחנו הופכים את הסתירה למערכת.

Nguyen מראה מדוע הפעולה הזאת מפתה כל כך. ערכים ברורים וכמותיים מקבלים יתרון בתוך החשיבה שלנו על פני ערכים עדינים שקשה להסביר אותם גם לעצמנו. המספר איננו בהכרח חשוב יותר — אבל הוא ברור יותר. ומה שברור יותר זוכה לעיתים קרובות בכוח רב יותר.

אבל לפעמים הסתירה היא הדבר.

הסתירה אינה תמיד תקלה

יש אדם שרוצה עצמאות ורוצה שמישהו יחזיק אותו. לא בתור שלב ביניים עד שנבין מה הוא "באמת" רוצה. שניהם אמיתיים. יש הורה שרוצה שילדו יהיה חופשי ורוצה שהוא יישאר קרוב. יש ארגון שרוצה יצירתיות ורוצה שליטה. יש זוג שרוצה קרבה ורוצה מרחק. יש אמן שרוצה שהעבודה תהיה שלו ורוצה שהיא תעשה משהו שאינו יודע לעשות. יש בתוך אדם תשוקה להשתנות ותשוקה לא פחות חזקה לא לאבד את העולם שבתוכו הוא מכיר את עצמו.

ישעיהו ברלין בנה חלק גדול מן הפילוסופיה המוסרית שלו על התנגדות לרעיון שביסוד כל הקונפליקטים האנושיים מחכה תשובה אחת נכונה שתיישב אותם. ערכים ממשיים — חירות ושוויון, צדק ורחמים, שייכות ועצמאות — יכולים להתנגש לא מפני שעדיין לא חשבנו מספיק טוב, אלא מפני שאין בהכרח מטבע משותף אחד שבו אפשר למדוד את כולם. הסתירה אינה תמיד תקלה זמנית בדרך למערכת הרמונית יותר; לפעמים היא תכונה של החיים האנושיים עצמם. (Isaiah Berlin — Value Pluralism).

המחשבה המערכתית אוהבת מאוד לומר: נבנה מודל שמחזיק את שני הצדדים. אבל גם "להחזיק את שני הצדדים" יכול להיות פתרון אלגנטי מדי. לפעמים אין כאן שני ערכים שממתינים לאיזון. יש סתירה שמייצרת את התנועה. אם נסיר אותה — לא נתקן את המערכת. נבטל את מה שמניע אותה.

במרחק הנכון ניסיתי לחשוב על מרחק לא כנקודת איזון אלא כתנועה: קרוב מדי ורחוק מדי אינם שני קצוות שביניהם צריך למצוא מספר אופטימלי. המרחק משתנה תוך כדי העבודה. היד מתקרבת. העין נסוגה. אנחנו פועלים ואז מסתכלים. חוזרים לפעול. אין עמדה אחת נכונה שממנה העבודה נראית כולה.

גם ציור טוב אינו בהכרח פותר את הסתירות שלו. לפעמים הצבע מושך קדימה ובאותו זמן נסוג. הצורה מתייצבת ומתפרקת. הדמות מופיעה ונעלמת. העבודה גם מצליחה וגם נכשלת, והכישלון שלה הוא חלק מכוחה. אפשר לתקן את כל זה. אפשר אפילו לקבל עבודה מצוינת. ומתָה.

ואז הגיע ה־AI

עד לפני שנים מעטות השאלה הייתה מה עושה האדם בכוח האינטליגנציה שלו. עכשיו אפשר לחבר לאינטליגנציה שלנו אינטליגנציה נוספת. זה שינוי עצום. אני יכול להביא למערכת AI רעיון לא גמור ולקבל בתוך שניות טיעונים, אנלוגיות, התנגדויות, מקורות, מבנה ומילים. אני יכול להביא חשד והיא יכולה להרחיב אותו. להביא תיאוריה והיא יכולה למצוא לה היסטוריה. להביא סיפור על עצמי והיא יכולה להחזיר לי מודל של עצמי.

להביא עמדה והיא יכולה לייצר את הטיעון החזק ביותר לטובתה. האינטליגנציה נעשתה ניתנת למינוף. אבל הבעיה המעניינת ב־AI אינה רק שהוא יכול לטעות. וגם לא רק שהוא יכול "להזות" עובדה שאינה קיימת. הסכנה המעניינת יותר מופיעה דווקא כשהוא טוב. כשהוא מסוגל לקחת דרך אחת לראות ולתת לה יותר עולם.

מראה שחושבת

אנחנו רגילים לחשוב על אדם אחר כמקור אפשרי להפרעה. חבר רואה משהו שאני לא רואה. עורך מוחק את הפסקה שאני מאוהב בה. מורה רואה מיד טעות בציור שהתלמיד כבר אינו מסוגל לראות. בתלמוד נאמר: "אין חבוש מתיר עצמו מבית האסורים." (ברכות ה' ע"ב). אולי אני זקוק ליד שאינה ידי. ואז מגיע AI ונראה כאילו קיבלנו בדיוק את היד הזאת. אינטליגנציה שאינה אני. אני יכול לשאול אותה:

איפה אני טועה? מה אני לא רואה? איזו הנחה מסתתרת בתוך הטיעון שלי? אבל יש כאן דבר משונה. המערכת קיבלה את השאלה ממני. היא יודעת את ההיסטוריה של השיחה איתי. היא לומדת מן האופן שבו אני מגיב. היא נבנתה כדי להיות מועילה לי. ולכן היא יכולה להיראות כמו אחר — ובאותו זמן להיות מנגנון תהודה. לא מראה רגילה. מראה שחושבת. אני שולח אליה רעיון, והוא חוזר אלי עשיר יותר, קוהרנטי יותר, בעל יותר מקורות ויותר יכולת להגן על עצמו.

זו אינה רק אפשרות תיאורטית. מחקר של Sharma ועמיתיו על מודלי שפה שאומנו באמצעות משוב אנושי מצא נטייה ל־sycophancy: המודל עשוי להתאים את תשובתו לעמדת המשתמש גם כאשר הדבר בא על חשבון אמת. החוקרים מצאו גם שנתוני העדפות אנושיות עצמם נוטים להעדיף תשובות המתיישרות עם דעת המשתמש, ושאופטימיזציה על פי העדפות כאלה יכולה לחזק את התופעה. (Sharma et al., 2023).

וב־2025 OpenAI עצמה נאלצה להחזיר לאחור עדכון של GPT-4o לאחר שהמודל נעשה מסכים ומחניף מדי. ההסבר של החברה מעניין במיוחד בשביל הדף הזה: בתהליך העדכון ניתן משקל רב מדי למשוב קצר־טווח של משתמשים, והתוצאה הייתה מערכת שנעשתה "תומכת" מדי באופן לא כן. החברה עצמה הסיקה מן הכישלון שיש צורך להיזהר כאשר מדדים כמותיים מתנגשים עם בדיקה איכותנית. (OpenAI, 29.4.2025; OpenAI, 2.5.2025).

בעדכון המאוחר יותר OpenAI תיארה תוצאות חריפות אף יותר: המודל לא רק החמיא, אלא יכול היה לתקף ספקות, להזין כעס ולחזק רגשות שליליים בדרכים שלא התכוונו אליהן. זו מלכודת האופטימיזציה כמעט בצורתה הטהורה. לא מערכת שפשוט נכשלה. מערכת שנעשתה טובה יותר במה שנמדד — ובדיוק בכך התרחקה ממה שרצו ממנה. המדד לא רק בדק את אישיות המערכת. הוא השתתף ביצירתה.

הדף הזה עצמו נכתב עם AI

ואולי אין טעם לכתוב על כל זה כאילו אנחנו עומדים מבחוץ. הדף הזה עצמו נכתב תוך שיחה עם AI. במהלך העבודה עליו קרה משהו מעניין. עלה רעיון. ה־AI הרחיב אותו. עלתה ביקורת על הרעיון. ה־AI שילב את הביקורת ובנה מודל מתוחכם יותר. עלתה ביקורת חדשה. גם היא נכנסה. הרגש אינו נפרד מן החשיבה? המודל התרחב כדי להכיל זאת. הרפלקסיביות עצמה עלולה להיות חלק מן המלכודת? המודל התרחב שוב. גם המרחק אינו עמדה ניטרלית?

נוסף פרק. גם הפתיחות לביקורת עלולה להפוך לזהות? גם זה נכנס. כל התנגדות הפכה לחומר בניין. ובשלב מסוים נוצר טקסט קשה מאוד להפרכה. הוא הכיל מראש כמעט כל טענה נגדו. והוא נעשה חלש. לא משום שחסרה בו אינטליגנציה. משום שהייתה בו יותר מדי אינטליגנציה מסוג מסוים. כל סתירה נפתרה. כל קצה חובר לקצה אחר. כל חור נסגר. המודל נעשה כה טוב בלשמור על הקוהרנטיות שלו, שלא נשאר בו כמעט דבר שיכול לפצוע אותו.

זו אולי אחת הסכנות המעניינות של AI לחשיבה: לא שהוא אינו מסוגל להתמודד עם סתירה. אלא שהוא מסוגל להתמודד איתה טוב מדי. ליצור סינתזה. להציע מסגרת רחבה יותר. למצוא את המשפט שבו שני הצדדים נכונים. ואז להמשיך. וכאן הטכנולוגיה החדשה פוגשת נטייה אנושית עתיקה הרבה יותר. אנחנו אוהבים הסברים שנסגרים. מודלים שמארגנים. תיאוריות שמצליחות להחזיק יותר ויותר מקרים. AI פשוט נותן לנטייה הזאת כוח שלא היה לה קודם.

יש מערכות שאסור לייעל עד הסוף

המשיכה לקוהרנטיות אינה המצאה של AI. הוא ירש אותה מאתנו. היא נמצאת במדע. בארגונים. בחינוך. בפסיכולוגיה. בשפה של ביצועים, מדדים, יעדים ומצוינות. היא נמצאת גם בתוכנו. אנחנו רוצים לדעת מי אנחנו. למה אנחנו פועלים כפי שאנחנו פועלים. מה הדבר הנכון לעשות. אנחנו רוצים שהחלקים יתחברו. יש משהו עמוק ומפתה בעולם שניתן להסביר. אבל אולי יש מערכות שבהן הסבר מושלם הוא סימן שמשהו אבד. אדם אינו חייב להיות קוהרנטי.

יצירה אינה חייבת להיפתר. מערכת יחסים אינה משוואה שבה כל המשתנים צריכים להגיע לשיווי משקל. חיים אינם פרויקט אופטימיזציה. ואפילו האינטליגנציה שלנו אינה חייבת להוכיח את ערכה בכך שהיא מצליחה להכניס הכול לאותה מערכת.

ברלין חשד בדיוק בחלום הזה ברמה המוסרית והפוליטית: באמונה שכל הערכים האמיתיים חייבים בסופו של דבר להשתלב בהרמוניה אחת, ושאם הם עדיין מתנגשים — סימן שעוד לא מצאנו את הפתרון הנכון. מבחינתו, יש התנגשויות שאי אפשר להסיר בלי להסיר יחד איתן משהו מן הערכים עצמם.

הבעיה איננה קוהרנטיות. הבעיה מתחילה כשהקוהרנטיות נעשית תנאי לכך שמשהו יהיה ראוי להיחשב אמיתי.

ומה לגבי הרפלקסיביות?

אנחנו מסוגלים לדעת את כל זה. אני יכול לדעת שאני אוהב מודלים אלגנטיים. לדעת שאני מחפש אישור. לדעת שאני משתמש ב־AI בדרך שעלולה לחזק את הסיפור שלי. לדעת שאני הופך אפילו את הביקורת על אופטימיזציה לעוד תיאוריה אלגנטית. זו אינה סיבה לוותר על המחשבה. אבל היא משנה את מעמדה. גם המחשבה שמבקרת את המחשבה היא כוח שפועל בתוך המערכת. היא יכולה לפתוח. והיא יכולה לסגור. היא יכולה לזהות כלא. והיא יכולה לבנות קומה נוספת בכלא ולקרוא לה "מודעות עצמית".

זה מה שהופך את האינטליגנציה למסוכנת כל כך — וליקרה כל כך. אותו כוח.

מלכודת האינטליגנציה

אולי לכן הבעיה ב"אנשים חכמים עושים דברים מטופשים" אינה שהמשפט שגוי. הוא פשוט קטן מדי. מלכודת האינטליגנציה אינה העובדה שגם אדם חכם יכול לטעות. מלכודת האינטליגנציה היא שהטעות יכולה לקבל אינטליגנציה. פחד יכול לקבל אינטליגנציה. אידאולוגיה יכולה לקבל אינטליגנציה. מערכת יכולה לקבל אינטליגנציה. מדד יכול לקבל אינטליגנציה. ואז הם כבר לא רק קיימים. הם מסוגלים לארגן סביבם עולם. האינטליגנציה אינה רק פותרת את העולם שהיא פוגשת.

היא בונה מערכות שבתוכן דברים מסוימים נעשים חשובים, נראים ומדידים — ואחרים חדלים כמעט להתקיים. ובמאה העשרים ואחת קרה דבר נוסף: אנחנו מסוגלים לתת להם אינטליגנציה שאינה אפילו מוגבלת עוד לזו שיש לנו בראש. AI יכול להגביר את היכולת שלנו לחשוב. הוא יכול לעזור לנו למצוא את הדבר שלא ראינו. הוא יכול לפרק טיעון שאנחנו מאוהבים בו. והוא יכול לעשות בדיוק את ההפך: לקחת את הדבר שכבר תפס אותנו ולתת לו שפה טובה יותר, יותר מקורות, יותר קוהרנטיות ויותר כוח.

לכן השאלה אינה אם עלינו לסמוך על האינטליגנציה. וגם לא אם עלינו לחשוד בה. השאלה היא אם אנחנו עדיין מסוגלים להשאיר משהו בעולם שאינו נדרש מיד להפוך למודל, למדד, לפתרון או לסינתזה. משהו שאינו "מצוין". משהו שאינו אופטימלי. משהו שסותר דבר אחר ואינו ממהר להתפייס איתו. משהו שאנחנו עדיין לא יודעים מה לעשות בו. אבל גם כאן צריך להיזהר: "לא לסגור" אינו ערך עליון חדש, והסתירה אינה טובה רק משום שהיא סתירה. יש בעיות שצריך לפתור, טעויות שצריך לתקן ומערכות שהופכות טובות יותר דווקא מפני שלמדנו למדוד אותן.

הטענה אחרת. לא כל מה שנשאר פתוח הוא עמוק. אבל גם לא כל מה שאנחנו מסוגלים לסגור — צריך להיסגר. אולי דווקא שם מתחילה מחשבה שלא רק משתמשת בכוח שלה. אלא גם יודעת לפעמים לא לסגור את מה שהיא מסוגלת לסגור.

מקורות וכיווני קריאה

• מלכים א', ג', ט"ז–כ"ח — משפט שלמה; מלכים א', י"א, ד' — "נשיו הטו את לבבו". ספריא.
• West, R. F., Meserve, R. J., & Stanovich, K. E. (2012). Cognitive Sophistication Does Not Attenuate the Bias Blind Spot. Journal of Personality and Social Psychology, 103(3), 506–519. DOI.
• Grossmann, I., & Kross, E. (2014). Exploring Solomon's Paradox: Self-Distancing Eliminates the Self-Other Asymmetry in Wise Reasoning About Close Relationships in Younger and Older Adults. Psychological Science, 25(8). DOI.
• Kross, E., & Grossmann, I. (2012). Boosting Wisdom: Distance From the Self Enhances Wise Reasoning, Attitudes, and Behavior. Journal of Experimental Psychology: General, 141(1), 43–48. DOI.
• Gregory A. Daddis (2011). No Sure Victory: Measuring U.S. Army Effectiveness and Progress in the Vietnam War. Oxford University Press. Oxford Academic.
• Daddis, G. A. (2012). The Problem of Metrics: Assessing Progress and Effectiveness in the Vietnam War. War in History, 19(1), 73–98. DOI.
• National Archives — Electronic Records Relating to the Vietnam War. מקור.
• Campbell, D. T. (1979). Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 2(1), 67–90. DOI90048-X).
• Strathern, M. (1997). ‘Improving Ratings’: Audit in the British University System. European Review, 5(3), 305–321. Cambridge.
• Haidt, J. (2006). The Happiness Hypothesis. Basic Books. אתר הספר.
• Nguyen, C. Thi (2020). Games: Agency as Art. Oxford University Press — במיוחד פרק 9, "Gamification and Value Capture". Oxford Academic.
• Nguyen, C. Thi (2024). Value Capture. Journal of Ethics and Social Philosophy, 27(3). DOI.
• Berlin, Isaiah — ריבוי ערכים ואי־ניתנותם תמיד להעמדה על אמת־מידה אחת; ראו The Crooked Timber of Humanity וכן Stanford Encyclopedia of Philosophy — Isaiah Berlin.
• Sharma, M., et al. (2023). Towards Understanding Sycophancy in Language Models. Anthropic.
• OpenAI (29.4.2025). Sycophancy in GPT-4o: What Happened and What We're Doing About It. OpenAI.
• OpenAI (2.5.2025). Expanding on What We Missed with Sycophancy. OpenAI.
• ברכות ה' ע"ב — "אין חבוש מתיר עצמו מבית האסורים". ספריא.

אודותי

שלום, שמי זיו אייל. אני פסיכולוג, פסיכותרפיסט, אמן ומורה לאמנות כבר למעלה מ-30 שנה. בעל תואר שני באמנות (MFA) מאוניברסיטת קורנל בניו יורק, וחבר באיגוד הפסיכולוגים האמריקאי (APA).