Шум. Несовершенство человеческих суждений

Посвящается Ноге, Ори и Гили – ДК

Посвящается Фантин и Лелии – ОС

Посвящается Саманте – КРС

Daniel Kahneman, Olivier Sibony and Cass R. Sunstein

NOISE:

A Flaw in Human Judgment

Перевод с английского

А. Котовой (I–II части),

С. Селифоновой (III–IV части),

В. Тулаева (V–VI части, приложения)

Печатается с разрешения авторов и литературного агентства Brockman, Inc.

Исключительные права на публикацию книги на русском языке принадлежат издательству AST Publishers.

© Daniel Kahneman Amended and Restated Family Trust, Olivier Sibony, and Cass R. Sunstein, 2021

Школа перевода В. Баканова, 2021

© Издание на русском языке AST Publishers, 2021

Введение
Два вида ошибок

Представьте, что в стрелковый тир пришли четыре компании друзей. В компаниях по пять человек; они получают по винтовке на команду, и каждый участник производит один выстрел. Результаты показаны на рисунке 1.

В идеале все выстрелы попали бы точно в «десятку».

Рис. 1. Четыре команды

У команды А почти так и вышло: все попадания сгруппировались возле цели.

Результаты команды B можно назвать смещенными, поскольку все промахи легли по одну сторону от «яблочка». Систематичность промахов, наглядно представленная на рисунке, позволяет предположить, что очередной выстрел пришелся бы недалеко от первых пяти, а также что у винтовки, возможно, попросту сбит прицел.

Результаты команды C мы назовем шумными: попадания разбросаны по всей мишени. Поскольку они все-таки сосредоточены преимущественно вокруг центра, очевидного смещения не наблюдается. Если участник команды выстрелит снова, мы едва ли сможем предугадать, куда он попадет. Более того, нам не удастся выдвинуть никакой содержательной гипотезы, чтобы объяснить подобный результат. Эта команда стреляет плохо. Почему в их результатах столько шума – неизвестно.

У команды D результаты смещенные и шумные одновременно: систематические промахи, как у команды B, и широкий разброс, как у команды C.

Впрочем, эта книга не про стрельбу по мишеням – она про человеческие ошибки. Смещение и шум, или, другими словами, систематические отклонения и случайный разброс, – это составляющие ошибок. Пример с мишенями наглядно показывает¹, в чем между ними отличие.

Стрельба по мишени – образное представление сбоев в процессе вынесения людьми суждений, особенно когда принимаются всевозможные решения в интересах организаций. Тогда-то и происходят те самые ошибки с рисунка 1. Одни суждения содержат смещения и систематически не попадают в цель. Другие можно назвать шумными: вместо согласованных действий мы видим попадания, разбросанные по всей мишени. К несчастью, для многих организаций характерны оба типа ошибок.

На рисунке 2 показано важное отличие между смещением и шумом. Представьте, что вы заглядываете на оборотную сторону мишеней, по которым стреляли наши команды, где «яблочко» не обозначено.

С этой стороны вы не определите, кто оказался ближе к «десятке»: команда А или команда B. Зато сразу же понятно, что шумный результат именно у команд С и D, ведь разброс попаданий здесь так же очевиден, как и на рисунке 1. Шум можно обнаружить и измерить, даже ничего не зная ни о цели, ни о смещении, – это одно из его основных свойств.

Рис. 2. Оборотная сторона мишеней

Вышеупомянутое свойство шума весьма существенно для целей этой книги. Ко многим заключениям мы пришли, изучая суждения, о справедливости которых мы не имеем ни малейшего понятия. Если диагнозы разных врачей пациенту не совпадают, мы вполне можем исследовать расхождения в медицинских заключениях, не владея информацией о том, чем на самом деле болен этот человек. Разницу в оценках рыночной стоимости фильма кинопродюсерами можно изучить, не будучи в курсе, какую кассу в итоге сделал фильм или был ли он вообще снят. Нет нужды знать, кто прав, чтобы определить, насколько при этом разнятся оценки. Чтобы измерить уровень шума, нужно всего лишь заглянуть на оборотную сторону мишени.

Понять природу ошибочных суждений невозможно без понимания сущности смещения и шума. Как мы убедимся далее, порой основную проблему представляет собой именно шум. Однако в организациях по всему миру, а также при проведении общественных дискуссий ему редко уделяется должное внимание. Главную роль всегда отводят смещению, а шуму достается удел жалкого статиста. О смещении написаны тысячи научных работ и десятки бестселлеров, а шум при этом едва упоминается. С помощью этой книги мы попытаемся установить равновесие.

Зачастую, когда решения принимаются на практике, уровень шума просто зашкаливает. Вот несколько примеров пугающих масштабов шума в ситуациях, где суждения должны быть безошибочными:

• Шум в медицине. Врачи могут сильно расходиться во мнениях по поводу диагноза одному и тому же пациенту. Такие ситуации нередки с диагностированием рака кожи, груди, болезней сердца, туберкулеза, пневмонии, депрессии и целого ряда других заболеваний. Особенно высок уровень шума в психиатрии, где без субъективных суждений просто не обойтись. Вместе с тем на удивление заметный уровень шума наблюдается даже в таких областях медицины, как, например, чтение рентгеновских снимков.

• Шум при вынесении решений об опеке². Специалисты органов по защите малолетних должны оценить, угрожает ли ребенку жестокое обращение, и если да, передать его приемным родителям. В системе опеки уровень шума весьма значителен: некоторые специалисты гораздо охотнее, чем коллеги, направляют детей в приемные семьи. Годы спустя несчастные дети, чью судьбу решили более жесткие сотрудники, поместив их под опеку, совершают больше правонарушений, чаще рожают в подростковом возрасте и имеют в дальнейшем более низкие доходы.

• Шум в прогнозировании. Мнения профессиональных прогнозистов не совпадают касательно ожидаемых объемов продаж нового продукта, предполагаемого роста безработицы, вероятности банкротства проблемных компаний – в общем, чего угодно. Прогнозисты противоречат не только друг другу, но даже сами себе. К примеру, когда одних и тех же разработчиков программного обеспечения³ дважды в разные дни попросили оценить сроки выполнения одного и того же задания, их оценки в среднем отличались на 71 %.

• Шум в решениях о предоставлении убежища⁴. Подача прошения об убежище в США чем-то сродни лотерее. При изучении дел, случайным образом распределенных между разными судьями, обнаружилось, что один судья предоставлял убежище 5 % просителей, тогда как другой – 88 %. Исследование носит красноречивое название: «Рулетка для беженцев». (О рулетке мы с вами еще поговорим, и не раз.)

• Шум в кадровых вопросах. Специалисты, проводящие собеседования, совершенно по-разному оценивают одних и тех же соискателей. Оценки производительности труда персонала тоже сильно различаются и в большей степени зависят от личности оценивающего, чем от продуктивности сотрудника.

• Шум в решениях об освобождении под залог. Выпустят ли обвиняемого под залог или оставят ожидать суда в тюрьме, отчасти зависит от судей, слушающих дело: некоторые из них проявляют заметно бо́льшую снисходительность. Судьи также весьма по-разному оценивают вероятность побега или повторного правонарушения подсудимых.

• Шум в криминалистике. Мы привыкли безоговорочно доверять идентификации по отпечаткам пальцев. Но специалисты в этой области иногда расходятся во мнениях о том, совпадают ли отпечатки с места преступления с отпечатками подозреваемого. Эксперты могут не только не соглашаться друг с другом, но даже делать непоследовательные выводы по поводу одних и тех же отпечатков. Документально подтверждены подобные расхождения и в других областях судебной медицины, в частности даже при анализе ДНК.

• Шум при выдаче патентов⁵. Авторы ведущего исследования о патентных заявках подчеркивают роль шума: «Результат подачи заявки на патент в значительной степени зависит от того, кому поручено ее рассмотрение». С точки зрения беспристрастности такая вариативность, конечно же, вызывает озабоченность.

Все эти ситуации – лишь верхушка огромного айсберга. Когда имеешь дело с человеческими суждениями, вероятность обнаружить шум весьма велика. Повысить качество суждений можно, только устранив как шум, так и смещение.

Эта книга состоит из шести частей. В части I мы исследуем разницу между шумом и смещением и демонстрируем присутствие шума в деятельности как государственных, так и частных организаций, причем порой его уровень может быть ошеломляюще высоким. Чтобы оценить проблему, мы начинаем с рассмотрения суждений в двух сферах. Первая – вынесение уголовных приговоров (государственный сектор), вторая – страхование (частный сектор). На первый взгляд области совсем разные, но, когда дело касается шума, у них оказывается много общего. Чтобы это подтвердить, мы предлагаем процедуру ревизии шумовых помех, которая позволяет измерить уровень разногласий среди профессионалов по определенным вопросам внутри одной организации.

В части II мы изучаем природу человеческих суждений и выясняем, как можно измерить их точность или ошибочность. Суждениям свойственны как смещение, так и шум – и мы демонстрируем, что влияние обоих типов ошибок может быть на удивление равноценным. Ситуативный шум – это разброс в суждениях одного человека или группы по одному и тому же вопросу в разное время. На удивление часто такой шум возникает в групповых обсуждениях под воздействием, казалось бы, незначительных факторов, например очередности выступлений.

Часть III – это более пристальный взгляд на уже хорошо изученный вид суждений: прогнозные оценки. Мы исследуем важнейшее преимущество правил, формул и алгоритмов перед человеком в деле составления прогнозов. Вопреки расхожему мнению, превосходство правил заключается не в том, что они лучше помогают вникнуть в суть вопроса, а в том, что они не производят шума. Мы обсуждаем абсолютный предел, который, как и шум, ограничивает качество прогнозных суждений: объективную неосведомленность о будущем. Напоследок мы отвечаем на вопрос, которым вы к тому моменту уже наверняка зададитесь: если шум настолько вездесущ, почему мы не замечали его раньше?

В части IV мы обращаемся к человеческой психологии и объясняем главные причины шума. К ним относятся межличностные различия, возникающие вследствие разнообразных факторов: качеств характера, когнитивного стиля, особенностей взвешивания «за» и «против» во время принятия решений, разницы в восприятии одинаковых шкал. Мы отвечаем на вопрос, почему люди не замечают шум и зачастую совсем не удивляются, когда происходят события или принимаются решения, предвидеть которые они никак не могли.

В части V исследуется практический вопрос: как улучшить суждения и предотвратить ошибки? (Читатели, которых интересует главным образом применение методов снижения шума на практике, могут пропустить обсуждение проблем прогнозирования и психологии суждений в частях III и IV и сразу перейти к этой.) Мы изучаем попытки справиться с шумом в медицине, бизнесе, образовании, управлении и других сферах и предлагаем несколько методов снижения уровня шума под общим названием гигиена принятия решений. Пять тематических исследований, проведенных в областях деятельности с высоким уровнем шума, продемонстрируют активные усилия, приложенные по его снижению – с различной степенью успеха, – что весьма поучительно. Сюда включены исследования недостоверных медицинских диагнозов, оценок показателей производительности, ошибок в криминалистике, в кадровых вопросах и в прогнозировании в целом. В завершение мы предлагаем систему, которую назвали протоколом промежуточных оценок. Это универсальный подход к оценке имеющихся вариантов, включающий в себя самые важные методы в процедуре гигиены принятия решений. Он ставит своей целью снижение уровня шума и повышение надежности суждений.

Каков оптимальный уровень шума? Об этом мы поговорим в части VI. Как ни парадоксально, полное отсутствие шума – это не лучший вариант. В одних областях просто невозможно избавиться от шума полностью, в других это слишком дорого. Есть сферы, в которых попытки снизить уровень шума поставят под угрозу другие важные ценности. К примеру, можно подорвать моральный дух и заставить людей чувствовать себя винтиками в большой машине. Когда частью решения проблемы становятся алгоритмы, возникают всевозможные возражения, и в этой главе мы попытаемся рассмотреть некоторые из них. И все же наблюдаемый сейчас уровень шума во многих областях деятельности просто недопустим. Мы призываем государственные и частные структуры провести ревизию шума и принять беспрецедентные усилия по его снижению. Если это удастся, можно будет частично устранить повсеместную несправедливость и сократить многие издержки.

Рассчитывая на осуществление такого сценария, мы заканчиваем каждую главу краткими предложениями в виде цитат. Можете использовать их без изменений или адаптировать для соответствующей области применения – будь то здравоохранение, безопасность, образование, финансы, сфера занятости, индустрия развлечений или любая другая. Коллективные усилия, направленные на изучение и решение проблемы шума, все еще продолжаются. У всех нас есть возможность внести в эту работу свой вклад, и эта книга написана в надежде, что мы ею воспользуемся.

Часть I
Как обнаружить шум

Совершенно недопустимо, чтобы правонарушители, осужденные за одинаковые преступления, получали несопоставимые приговоры, к примеру, один – пять лет тюрьмы, а другой – условный срок. Однако подобное происходит сплошь и рядом. Конечно, для системы уголовного правосудия характерно также и смещение, вызванное предвзятостью. Но в главе 1 речь пойдет о шуме и, в частности, о том, что произошло, когда известный судья привлек к этой проблеме внимание, назвал ситуацию возмутительной и положил начало кампании, в каком-то смысле изменившей мир (но не совсем). Наша история разыгралась в США, но, без сомнения, подобное может и будет случаться во многих других странах. В некоторых из них проблема шума, вероятно, еще серьезнее, чем в Соединенных Штатах. Мы использовали пример с вынесением приговоров отчасти для того, чтобы продемонстрировать, как шум способен стать причиной вопиющей несправедливости.

Сфера вынесения уголовных наказаний исполнена особого драматизма, однако и в частном секторе ставки могут быть весьма высоки. В качестве иллюстрации в главе 2 мы рассмотрим пример с большой страховой компанией. В таких организациях страховщики устанавливают для потенциальных клиентов размер взноса, а оценщики убытков подсчитывают причитающиеся страховые выплаты. Казалось бы, это простая механическая работа и разные специалисты приходят примерно к одним и тем же цифрам. Чтобы это проверить, мы провели тщательно подготовленный эксперимент – ревизию шума. Результаты удивили нас самих, но, что еще важнее, поразили и привели в ужас руководство компании. Высокий уровень шума в работе специалистов, как выяснилось, стоит компании огромных денег. Мы используем этот пример, чтобы показать, как шум способен приводить к крупным экономическим убыткам.

В вышеупомянутых примерах множество людей выносит множество суждений. Но многие важные суждения уникальны. Как не упустить редкую возможность для бизнеса, стоит ли запускать новый продукт, как справиться с пандемией, брать ли на работу нестандартного кандидата – могут ли быть шумными решения в подобных, особенных, ситуациях? Напрашивается предположение, что нет. Ведь шум – это нежелательный разброс, а разве в принятии уникальных решений может быть место разбросу? Мы попытаемся ответить на этот вопрос в главе 3. Решение, принимаемое даже в, казалось бы, уникальной ситуации, – лишь одно из ряда возможных. Здесь тоже есть место шуму.

Первые три главы можно подытожить фразой, которая красной нитью пройдет через всю книгу: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете. Давайте же посмотрим, сколько именно.

Глава 1
Преступление и шумное наказание

Допустим, человека осудили за совершение преступления – кражу в магазине, хранение наркотиков, нанесение телесных повреждений или вооруженное ограбление. Каким будет приговор?

Ответ на этот вопрос не должен зависеть ни от настроения судьи, ни от погоды, ни от успехов местной спортивной команды накануне рассмотрения дела. Разве не чудовищно, когда три человека, осужденные за одинаковые преступления, получают совершенно разные наказания: первый отделывается условным сроком, второму дают два года тюрьмы, а третьего сажают на десять лет? И все же такая вопиющая несправедливость характерна для многих государств – и это не дела давно минувших дней, а сегодняшняя реальность.

Во всем мире судьи имеют возможность свободно решать, насколько суровым должен быть приговор. Эксперты многих стран приветствуют эту свободу действий как справедливую и гуманную. Считается, что при вынесении уголовных приговоров нужно учитывать множество факторов, среди которых не только само преступление, но и личность обвиняемого, а также сопутствующие обстоятельства. Индивидуальный подход долго был в порядке вещей: если связывать судей правилами, обращение с преступниками станет бесчеловечным, ведь подсудимые перестанут быть уникальными личностями, имеющими право на рассмотрение особых обстоятельств их ситуации. Многим казалось, что сама идея надлежащего судебного разбирательства требует неограниченной свободы усмотрения для судей.

В 1970-е годы всеобщий энтузиазм по поводу судебного усмотрения начал угасать по одной простой причине: стали очевидными пугающие проявления шума. В 1973 году внимание к проблеме привлек известный судья Марвин Франкел. Еще до того как стать судьей, Франкел защищал свободу слова, горячо выступал за права человека и помог основать международную правозащитную организацию Lawyers’ Committee for Human Rights, известную сейчас как Human Rights First.

Франкел умел быть беспощадным. Когда же дело касалось шума в системе уголовного правосудия, он приходил в полнейшее негодование. Вот как он объяснял свои мотивы⁶:

Максимальный тюремный срок за ограбление федерального банка равнялся 25 годам. На практике приговор мог быть любым, в диапазоне от 0 до 25 лет. Скоро я осознал, что это зависит не столько от обстоятельств дела конкретного обвиняемого, сколько от личности судьи, его взглядов, наклонностей и предубеждений. Приговор одному и тому же обвиняемому по одному и тому же делу мог кардинально отличаться в зависимости от того, какой судья рассматривал дело.

Для подтверждения своих доводов Франкел не предоставил никакой статистической информации, однако привел ряд весьма убедительных примеров того, как в схожих ситуациях с людьми обращались по-разному безо всяких на то оснований. Двоих мужчин без уголовного прошлого осудили за обналичивание поддельных чеков на 58,40 и 35,20 доллара соответственно. Первого приговорили к 15 годам, а второго – к 30 дням тюремного заключения. За тождественные деяния, повлекшие растрату имущества, один обвиняемый отделался 117 днями, тогда как другой получил 20 лет. Указывая на бесчисленные дела такого толка, Франкел сетовал на «практически неограниченные широкие полномочия»⁷ федеральных судей, приводящие к «ежедневному произволу жестокости»⁸, что считал недопустимым в «системе, где правят законы, а не люди»⁹.

Франкел призвал конгресс покончить с «дискриминацией» – так он называл подобный произвол жестокости. Под «дискриминацией» в основном имелся в виду шум – необъяснимые расхождения при вынесении приговоров. При этом Франкел также выразил обеспокоенность смещением в виде расового и социально-экономического неравенства. Он утверждал, что для победы над смещением и шумом все подсудимые по уголовным делам должны получать одинаковое обращение, если только различия не «обоснованы соответствующими критериями, которые можно сформулировать и применить с достаточной степенью объективности, для того чтобы результаты не превращались в идиосинкразические указы¹⁰ отдельных чиновников, судей и прочих». (Термин «идиосинкразические указы»^[1] может быть не всем понятен: Франкел имел в виду произвольные постановления, продиктованные личными предпочтениями.) Более того, Франкел выступал за снижение уровня шума при помощи «подробного списка параметров или перечня факторов, по возможности включающего числовую или другую объективную градацию»¹¹.

Поскольку дело было в начале 1970-х, он не стал заходить настолько далеко, чтобы выступать за «вытеснение человека машиной», хотя был поразительно к этому близок. Франкел полагал, что «верховенство права требует свода универсально применимых безличных правил, обязательных как для судей, так и для всех остальных». Он открыто призывал использовать «компьютеры для упорядочивания мыслительного процесса¹² при назначении наказаний» и рекомендовал сформировать комиссию по приговорам¹³.

Книга Франкела стала одной из самых влиятельных в истории уголовного права не только в США, но и во всем мире, однако ее недостатком был несколько неформальный характер. Книга получилась разгромной, но субъективной. Чтобы подвергнуть идею шума испытанию, несколько исследователей сразу же бросились изучать уровень шума в сфере вынесения приговоров.

Одно из первых широкомасштабных исследований под руководством самого судьи Франкела провели в 1974 году. Пятидесяти судьям из разных округов предложили гипотетические дела, по которым требовалось назначить наказание. По всем делам были подготовлены идентичные характеристики подсудимых. Основным итогом стало «повсеместное отсутствие консенсуса»¹⁴ и «поразительный»¹⁵ разброс в выборе наказания. В зависимости от судьи наркодилер¹⁶ мог получить от года до десяти лет тюрьмы. Наказание за ограбление банка¹⁷ могло составить от пяти до восемнадцати лет лишения свободы. В деле о вымогательстве¹⁸ один судья назначил целых двадцать лет и 65 000 долларов штрафа, а другой – всего лишь три года безо всякого штрафа. Самое поразительное, что судьи так и не пришли к единому мнению по поводу необходимости лишения свободы в 16 делах из 20.

За этим изысканием последовала серия других – и все они выявили катастрофический уровень шума. В 1977 году Уильям Остен и Томас Уильямс опросили 47 судей¹⁹, предложив тем рассмотреть пять дел о мелких правонарушениях. Описания дел включали информацию, которую судьи обычно используют при вынесении настоящих приговоров: предъявленные обвинения, свидетельские показания, наличие судимости, социальное положение и личные характеристики подсудимых. Авторы пришли к выводу о «существенных расхождениях» в приговорах. К примеру, в деле о взломе приговоры варьировались от пяти лет заключения до каких-то тридцати дней (плюс штраф в 100 долларов). В деле о хранении марихуаны одни судьи предлагали тюремное заключение, другие выступали за условный срок.

В еще более крупном исследовании²⁰ 1981 года участвовали 208 федеральных судей, которым предлагалось рассмотреть одинаковый набор из 16 гипотетических дел. Выводы исследования потрясают:

Лишь в 3 из 16 дел судьи оказались единогласны в решении приговорить обвиняемых к тюремному заключению. Когда же большинство приходило к выводу о необходимости лишения свободы, в рекомендуемых сроках заключения наблюдался значительный разброс. В деле о мошенничестве средняя величина назначенного тюремного срока составила 8,5 года, при этом самым суровым приговором оказалось пожизненное заключение. В другом деле со средним сроком в 1,1 года самой суровой рекомендацией было лишение свободы на 15 лет.

Какими бы показательными ни были эти исследования, они представляют собой строго контролируемые эксперименты и почти наверняка не отражают истинных масштабов проблемы шума в уголовном правосудии. В реальном мире судьи располагают гораздо бо́льшими объемами информации, чем участники экспериментов, которых снабдили тщательно подготовленными краткими описаниями дел. Что-то из этого информационного потока может оказаться полезным, но многое свидетельствует о том, что несущественная информация – небольшие и, казалось бы, случайные факторы – способны значительно изменить результат рассмотрения дела. Например, как выяснилось, судьи с большей вероятностью предоставляют условно-досрочное освобождение с утра или после обеденного перерыва. Голодные судьи²¹ более суровы.

Исследование тысяч решений суда по делам несовершеннолетних²² выявило, что, когда в выходные местная футбольная команда проигрывает, в понедельник судьи выносят более строгие приговоры (а также, хотя и в меньшей степени, в течение всей недели). Это особенно сильно сказывается на чернокожих подсудимых. Другое исследование проанализировало 1,5 миллиона судебных решений за более чем тридцать лет и также обнаружило, что судьи менее снисходительны²³ на следующий день после проигрыша, чем после победы местной футбольной команды.

Анализ шести миллионов приговоров, вынесенных во Франции за двенадцать лет, показал, что к подсудимым относятся более мягко в дни рождения²⁴. (Имеются в виду дни рождения подсудимых. Мы подозреваем, что в свой день рождения судьи также проявляют больше снисхождения, но, насколько нам известно, эту гипотезу пока никто не проверял.) Даже такой на первый взгляд незначительный фактор, как погода²⁵, может повлиять на решение судьи. В результате обзора 207 000 решений иммиграционного суда, вынесенных за четыре года, была замечена существенная роль колебаний дневной температуры: в жаркие дни вероятность получить политическое убежище снижалась. Если на родине вас преследуют по политическим мотивам и вы ищете убежище, надейтесь, а лучше молитесь, чтобы ваше слушание состоялось в прохладный день.