Доклад должен занимать 20-25 минут, после чего 5-10 минут отводится на...

Введение
Систематическое экспериментальное исследование повторения ошибок
в человеческих рассуждениях и того, что эти ошибки говорят о
предшествующих им ментальных процессах, изучается в когнитивной
психологии в рамках исследований эвристики и предубеждений. Эти
исследования привели к открытиям, очень существенным для экспертов по
рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках,
связанных с неким взрывчатым веществом Р, способным разрушить всю
планету, если оно подвергнется достаточно сильному радиосигналу. К
счастью, имеется знаменитый эксперт, который открыл субстанцию Р,
потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на
Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть
радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический
порог находится, вероятно, на уровне 4000 тераватт. «Вероятно?» —
Спрашиваете вы. «Можете ли вы мне сообщить интервал мощности
запускающего сигнала с 98-ми процентной уверенностью?» — «Конечно, —
отвечает эксперт. — Я на 99 % уверен, что критический порог больше 500
тераватт, и на 99 % уверен, что он меньше 80000 тераватт». «А как насчет 10
тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.
Приведенная выше методология опроса эксперта выглядит совершенно
резонной, такой, какую должен использовать любой компетентный работник,
сталкиваясь с подобной проблемой. И в действительности, эта методология
была использована при исследовании безопасности реакторов [Rasmussen,
1975], ныне считающемся первой значительной попыткой вероятностной
оценки рисков. Но исследователь моделей рассуждений и погрешностей в
рассуждениях может распознать, по крайней мере, два больших недостатка в
этом методе, — не просто логически слабых места, а пару обстоятельств,
чрезвычайно уязвимых к человеческой ошибке.

Когнитивные искажения, связанные со знанием «задним числом»
Когнитивные искажения, связанные со знанием «задним числом»,
происходят, когда испытуемый, узнав окончательный итог событий, дает
гораздо большую оценку предсказуемости именно этого итога, чем
испытуемые, которые предсказывают итог без знания результата. Эта ошибка
иногда называется «я-все-это-время-чувствовал-что-так-оно-и-есть».
Фишхофф и Бейт представили студентам исторические отчеты о
малоизвестных событиях, таких, как конфликт между гуркхами и
англичанами в 1814 году. Пять групп студентов, получивших эту
информацию, были опрошены в отношении того, как бы они оценили
степень вероятности каждого из четырех исходов: победа англичан, победа
гуркхов, патовая ситуация с мирным соглашением или пат без соглашения.
Каждое из этих событий было описано как реальный итог ситуации одной из
четырех экспериментальных групп. Пятой, контрольной группе о реальном
исходе не говорили ничего. Каждая экспериментальная группа приписала
сообщенному ей итогу гораздо большую вероятность, чем любая другая или
контрольная группа.
Эффект знания «задним числом» важен в суде, где судья или
присяжные должны определить, виновен ли обвиняемый в преступной
халатности, не предвидев опасность. В эксперименте, основанном на
реальном деле, Камин и Рахлинский попросили две группы оценить
вероятность ущерба от наводнения, причиненного закрытием
принадлежащего городу разводного моста. Контрольной группе сообщили
только базовую информацию, бывшую известной городу, когда власти
решили не нанимать мостового смотрителя. Экспериментальной группе была
дана эта же информация плюс сведения о том, что наводнение действительно
случилось. Инструкции устанавливают, что город проявляет халатность, если
поддающаяся предвидению вероятность наводнения больше 10 процентов. 76
% опрашиваемых из контрольной группы заключили, что наводнение было

настолько маловероятным, что никакие предосторожности не были нужны.
57 % экспериментальной группы заключили, что наводнение было настолько
вероятно, что неспособность принять меры предосторожности была
преступной халатностью. Третьей группе сообщили итог и также ясным
образом инструктировали избегать оценки задним числом, что не привело ни
к каким результатам: 56 % респондентов этой группы заключили, что город
был преступно халатен. Отсюда видно, что судьи не могут просто
инструктировать присяжных, чтобы те избежали эффекта знания задним
числом: Меры против предвзятости (debiasing manipulation) не работают.
Рассматривая историю сквозь линзы нашего последующего знания, мы
сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986
году космический челнок Челленджер взорвался по причине того, что
кольцевой уплотнитель потерял гибкость при низкой температуре. Были
предупреждающие сигналы о проблемах, связанных с кольцевым
уплотнителем. Но предотвращение катастрофы Челленджера должно было
потребовать не только внимания к проблемам с кольцевым уплотнителем, но
и озабоченности каждым аналогичным предупреждающим сигналом,
который бы казался столь же серьезным, как проблема уплотнителей, без
преимущества последующего знания.

Черные лебеди
Талеб предположил, что последующие ошибки знания и доступности в
первую очередь ответственны за нашу неспособность защититься от того, что
Талеб назвал Черными лебедями. «Черные лебеди» представляют собой
особенно серьезный аспект проблемы мощных последствий: иногда большая
часть изменчивости процесса возникает из-за исключительно редких, но
исключительно крупных событий. Представьте финансовый инструмент,
который зарабатывает 10 долларов с вероятностью 98%, но теряет 1000
долларов с вероятностью 2%. В конечном счете, расходы перевешивают

доходы, но инструмент выглядит устойчивым победителем. Талеб (2001)
приводит в пример трейдера, чья стратегия работала 6 лет без единого
убыточного квартала, принеся около 80 миллионов долларов, а затем он
потерял 300 миллионов долларов в одной катастрофе.
Другой пример — инвестиционный фонд Long-Term Capital
Management, среди учредителей которого два нобелевских лауреата по
экономике. Во время азиатского кризиса и российского дефолта 1998 года
рынки вели себя совершенно беспрецедентным образом, что было
незначительным в исторической модели, используемой LTCM. В результате
LTCM день за днем ​​стал терять по 100 миллионов долларов в день. В 1998
году он потерял более 500 миллионов долларов за один день.
Основатели LTCM позже назвали рыночные условия 1998 года очень
маловероятным событием с вероятным отклонением в десять сигм. Но
очевидно, что это событие, раз оно произошло, не было таким уж
невероятным. Ошибочно полагая, что прошлое предсказуемо, люди пришли
к выводу, что будущее также предсказуемо. Как пишет Фишхофф (1982):
«Когда мы пытаемся понять прошлые события, мы косвенно проверяем
гипотезы и правила, которые применяем для интерпретации и восприятия
окружающего мира. Если благодаря последующим знаниям мы
систематически недооцениваем сюрпризы, которые могли быть в прошлом,
мы подвергаем эти гипотезы неуместно слабым проверкам и, вероятно, не
находим причин для их изменения.
Урок истории состоит в том, что плохие вещи, такие как черные
лебеди, случаются. Людей удивляют катастрофы, которых они не ожидали,
лежащие за пределами известных им исторически вероятных распределений.
Но почему мы так ошеломлены, когда появляются черные лебеди? Почему
LTCM заняла 125 миллиардов долларов против 4,72 миллиарда долларов
собственности, практически гарантируя, что любая крупная проблема
приведет их к банкротству?

Из-за ошибки из-за последующего знания мы извлекаем очень
конкретные уроки. После 11 сентября Авиационная администрация США
запретила использование в самолетах ножей для резки бумаги. В
ретроспективе это событие выглядит слишком предсказуемым, позволяя
разгневанным жертвам отмахиваться от инцидента как от халатности,
например неспособности спецслужб отличить предупреждения об
активности «Аль-Каиды» среди тысяч других предупреждений. Мы
научились не позволять угнанным самолетам летать над нашими городами.
Но мы не усвоили урок: черные лебеди случаются. Делайте все возможное,
чтобы подготовиться к неожиданностям».
Талеб пишет:
«Трудно мотивировать людей предотвращать появление черных
лебедей… Защиту трудно воспринимать, измерять и вознаграждать; обычно
это незаметная и неблагодарная работа. Представьте себе, что для
предотвращения такого явления были приняты какие-то дорогостоящие
меры. Стоимость этих мероприятий легко подсчитать, а результат измерить
сложно. О какой эффективности можно говорить, когда есть два
альтернативных объяснения: либо принятые меры были эффективными, либо
ничего существенного не произошло. Оценка качества работы в таких
случаях не только затруднена, но и искажается наблюдением "героических
подвигов"... Героические меры профилактики не пишутся в исторических
книгах.
Ошибочное включение лишнего элемента
Линде 31 год, незамужняя, искренняя и оптимистичная девушка. В
колледже она специализировалась на философии. Будучи студенткой, она
глубоко интересовалась вопросами дискриминации и социальной
справедливости, а также участвовала в антиядерных демонстрациях.

Расположите следующие утверждения в порядке убывания их
вероятности.
1. Линда — учительница начальных классов.
2. Линда работает в книжном магазине и занимается йогой.
3. Линда — феминистка
4. Линда — социальный работник в области психиатрии.
5. Линда — член общества женщин с правом голоса
6. Линда - кассир банка
7. Линда — страховой агент.
8. Линда — банковский кассир и феминистка.
89% из 88 студентов считали, что пункт 8 более вероятен, чем пункт 6.
Поскольку выбранное описание Линды больше похоже на описание
феминистки, чем банковского кассира, пункт 8 больше подходит к описанию
Линды. Однако, считая пункт 8 более вероятным, чем пункт 6, мы нарушаем
закон суммирования вероятностей, который гласит, что P(A & B) ≤ P(A).
Представьте себе выборку из 1000 женщин. Вероятно, в этой выборке больше
женщин-кассиров, чем женщин-феминисток и банковских служащих
одновременно. Возможно, ошибочное включение лишнего элемента связано
с тем, что участники неправильно восприняли экспериментальную
инструкцию? Например, могли ли они понимать под «вероятностью»
вероятность того, что женщина, для которой утверждения 6 и 8 верны,
соответствует приведенному выше описанию Линды, а не вероятность
утверждений 6 и 8 относительно Линды? Или, возможно, они
интерпретировали цифру 6 как «Линда — кассирша, а не активистка-
феминистка»? Хотя для объяснения склонности к этой логической ошибке
было предложено множество интересных альтернативных гипотез, она
пережила все экспериментальные попытки ее опровергнуть. Например,

следующий эксперимент исключает обе предложенные выше
альтернативные гипотезы. Представьте себе обычный шестигранный кубик с
четырьмя зелеными и двумя красными гранями. Кость будет брошена 20 раз,
и будет записана последовательность зеленых (G) и красных (R) граней.
Субъект должен выбрать одну последовательность из трех предложенных, и
он выиграет 25 долларов, если выбранная им последовательность выпадет в
серии бросков кубика. Эти три последовательности, вам нужно выбрать одну
из них.
1.РГРРР
2.ГРГРРР
3.ГРРРРР
125 студентов Стэнфордского университета играли в эту игру на
реальные деньги. 65% из них выбрали последовательность 2.
Последовательность 2 является наиболее типичной, потому что кости в
основном зеленые, а последовательность 2 содержит наибольшую долю
зеленых сторон. Однако последовательность 1 превосходит
последовательность 2, поскольку она полностью содержится в ней. Чтобы
получить 2, вы должны бросить последовательность 1 и зеленую грань
кубика перед ней.
В приведенной выше задаче студенты могли вычислить точные
вероятности каждого события. Однако вместо того, чтобы тратить время на
арифметические вычисления, 65 % студентов, по-видимому, полагались на
интуицию, исходя из того, что казалось более типичным для игральной
кости. Когда мы называем это умозаключением по типичности, мы не
настаиваем на том, что студенты специально решили, что они будут
оценивать вероятность, исходя из типичности. Скорее, умозаключение по
типичности является как раз тем, что создает интуитивное чувство, будто
последовательность 2 более вероятна, чем последовательность 1. Другими

словами, умозаключение по типичности является встроенной
характеристикой мозга, предназначенной, чтобы давать быстрые
достоверные суждения, а не сознательно выбранной процедурой. Мы не
осознаем подмены суждением о типичности суждения о достоверности.
Ошибочное включение лишнего элемента подобным же образом происходят
в футурологических прогнозах. Две независимых группы профессиональных
аналитиков на Втором международном конгрессе по предвидению будущего
были опрошены, соответственно, о вероятности «полного разрыва
дипломатических отношений между СССР и США в 1983 году» и «русского
вторжения в Польшу, и последующего полного разрыва дипломатических
отношений между СССР и США в 1983 году». Вторая группа аналитиков
сообщила о значительно более высокой вероятности.
В исследовании Джонсона, группа студентов MBA из Уортона должна
была отправиться в Бангкок в качестве части своей образовательной
программы. Несколько подгрупп студентов было опрошено на тему, как
много они готовы заплатить за антитеррористическую страховку. Первой
группе был задан вопрос, сколько она готова заплатить за
антитеррористическую страховку, покрывающую перелет из Таиланда в
США. Вторую группу студентов спросили, сколько она готова заплатить за
страховку, покрывающую перелет туда-обратно. А третью — о страховке,
которая бы покрывала все путешествие. Эти три группы оказались в среднем
готовы заплатить 17,19, 13,90, и 7,44 долларов соответственно.
С точки зрения теории вероятностей, добавление дополнительной
детали к истории делает ее менее вероятной. Менее вероятно, что Линда
является кассиром-феминисткой, чем просто кассиром, поскольку все
кассиры-феминистки по определению являются кассирами. Но с точки
зрения человеческой психологии добавление каждой новой детали делает
историю все более достоверной.

Люди могут предпочесть заплатить больше за международную
дипломатию, направленную на предотвращение нанотехнологической войны
с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от
нанотехнологической атаки с любой возможной стороны. Второй сценарий
предотвращения выглядит менее зрелищным и побуждающим, но
универсальная технологическая защита будет более полезной по причине
своей многосторонности. Более ценными выглядят стратегии, которые
уменьшают вероятности истребления человечества без жесткой
зацикленности только на нанотехнологических угрозах — такие, как
колонизация космического пространства или искусственный интеллект (см.
работы автора на эту тему). Брюс Шнейер заметил что правительство
Соединенных Штатов (и до, и после урагана 2005 года в Новом орлеане),
защищало отдельные объекты на территории страны от террористических
угроз в стиле киносценариев ценой отвлечения ресурсов из средств
гражданской обороны, которые могли бы быть использованы в любой
ситуации. Сверхдетальные заверения также могут создать ложное ощущение
безопасности: «Х не является риском существованию, и вы не должны
заботиться о нем, потому что верны утверждения A, B, C, D, и E». В то время
как ошибка в любом из предположений является потенциально гибельной
для человеческого рода. «Мы не должны беспокоиться о
нанотехнологической войне, потому что комиссия ООН в начале разовьет эту
технологию и предотвратит ее распространение до тех пор, пока не будет
разработана активная защита, способная защитить от всех случайных или
злонамеренных проявлений, которые современная нанотехнология способна
породить, и это условие будет выполняться всегда». Яркие, четко
определенные сценарии могут увеличить нашу вероятностную оценку
безопасности, равно как и неправильно направить инвестиции в безопасность
с учетом излишне суженных или невероятно детализированных
сценариев рисков.

В целом, людям свойственно переоценивать вероятность совпадений
всех событий в серии и недооценивать вероятность хотя бы одного события
из серии. То есть, людям свойственно переоценивать вероятность того, что,
например, семь событий, с вероятностью 90 % каждое, все вместе совпадут.
Наоборот, людям свойственно недооценивать вероятность того, что хотя бы
одно событие из семи, имеющих каждое вероятность 10 %, все-таки
случится. Некто, оценивающий, стоит ли, например, открыть новую
компанию, должен вычислить вероятность того, что множество отдельных
событий произойдет одновременно нужным образом (что будет достаточное
финансирование, компетентные рабочие, покупатели будут хотеть купить
товар), учитывая также вероятность того, что, по крайней мере, одна
критическая неприятность случится (банк откажется дать ссуду, главный
проект закончится неудачей, ведущий ученый проекта умрет). Это может
объяснить, почему только 44 % предприятий выживают в течение первых
четырех лет.
Адвокаты в своих речах предпочитают избегать выводов, основанных
на истинности, по крайней мере, одной из нескольких посылок («либо одно,
либо другое, либо третье должно было случится и каждый из этих вариантов
приводит к одному и тому же выводу»), в пользу выводов, основанных на
совпадении сразу нескольких посылок. Однако с рациональной точки зрения
первые случаи гораздо более вероятны, чем вторые. Вымирание человечества
в следующем столетии может произойти в результате хотя бы одной из
многих причин. Оно может случиться по причине любого глобального риска,
обсужденного в статье Бострома «Угрозы существованию», или по какой-
нибудь другой причине, которую никто из нас не предвидел. Даже для
футурологов описания в духе «или то, или другое, или третье» неудобны, и
пророчества, с помощью них сформулированные, звучат непоэтично.
Ошибочность рассуждений, вызванная эффектом подтверждения

В 1960 году Питер Уэйсон провел ставший уже классическим
эксперимент, известный как задача 2-4-6. Испытуемые писали на карточках
три числа, например «2-4-6» или «10-12-14», а экспериментатор говорил,
соответствуют ли данные три числа правилу или нет. Первоначально
испытуемым давали тройку цифр 2-4-6 и говорили, что она соответствует
правилу. Испытуемые могли продолжать тестировать тройки до тех пор, пока
не были уверены, что знают правило экспериментатора, после чего
испытуемым сообщали правило.
Хотя участники в целом выражали высокую уверенность в своих
предположениях, только 21 % из них правильно угадали правило в этом
эксперименте, а при повторении эксперимента вероятность успеха обычно
составляла 20 %. Вопреки совету Карла Поппера участники эксперимента
Уэйсона пытались подтвердить свои гипотезы, а не опровергнуть их. Таким
образом, те, кто сформулировал гипотезу «Числа каждый раз увеличиваются
на два», проверили тройки 8-10-12 или 20-22-24, услышали, что они
подходят, и уверенно озвучили правило. Во всех случаях реальное правило
было одним и тем же: три числа должны следовать одно за другим в порядке
возрастания. В некоторых случаях испытуемые придумывали, «проверяли» и
озвучивали правила, которые были намного сложнее, чем на самом деле.
Проблема 2-4-6 Уэйсона — это «крутая» форма интеллектуальной
ошибки подтверждения: люди предпочитают подтверждать, а не опровергать
доказательства. «Круто» означает, что задание «2-4-6» является
эмоционально нейтральным случаем интеллектуальной ошибки
подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий»
случай возникает, когда убеждение эмоционально заряжено, например, в
случае политического дискурса. Неудивительно, что горячее заблуждение
сильнее — больше по масштабу и более устойчиво к изменениям. Активное
искажение подтверждения, требующее усилий, обычно называют

мотивированным познанием (обычно известным как «рационализация»). Как
отмечает Бреннер (2002) в Notes on Approval Theory:
«Очевидно, что во многих случаях желание быть уверенным в гипотезе
может оказывать заметное влияние на предполагаемую степень ее
подтверждения… Кунда обсуждает, как люди, стремящиеся к определенным
выводам, пытаются построить (ошибочным убедительные доводы в пользу
его любимой гипотезы, способные убедить непредвзятую аудиторию.
Гилович предполагает, что выводы, в которые человек не хочет верить,
считаются гораздо более требовательными, чем те, в которые он хочет
верить. В первом случае человек требует, чтобы свидетельство обязательно
приводило к данному выводу, а во втором он спрашивает, приведет ли какое-
либо свидетельство к данному заключению.
Когда люди подвергают доказательства, противоречащие их точке
зрения, более предвзятому анализу, чем доказательства, подтверждающие ее,
это называется мотивированным скептицизмом или когнитивной
предвзятостью несогласия (предвзятостью несогласия). Ошибка несогласия
особенно разрушительна по двум причинам: во-первых, два спорщика,
подверженные этой ошибке, при рассмотрении одного и того же потока
свидетельств могут изменить свои убеждения в противоположных
направлениях — обе стороны выборочно принимают только те
свидетельства, которые им нравятся. Накопление дополнительных
доказательств не приведет этих спорщиков к согласию. Во-вторых, люди,
являющиеся более опытными скептиками, т. е. знающие больший набор
типичных логических противоречий, но избирательно применяющие этот
навык, склонны менять свою точку зрения гораздо медленнее, чем
неопытные спорщики.
Табер и Лодж исследовали первоначальное отношение студентов к
владению оружием и его изменение, когда они читали политическую

литературу за и против контроля над оружием и лицензирования. Это
исследование проверило следующие шесть гипотез в двух экспериментах:
1. Эффект предшествующих отношений. Испытуемые, у которых была
первоначальная точка зрения на проблему, даже когда их призывали быть
объективными, с большей готовностью находили поддерживающие
аргументы, чем опровергающие.
2. Систематическая ошибка опровержения. Испытуемые тратили
больше времени и умственных усилий, пытаясь отвергнуть аргументы
опровержения, чем доводы в поддержку.
3. Систематическая ошибка подтверждения. Испытуемые, свободные в
выборе источников информации, чаще искали подтверждающие, а не
опровергающие источники.
4. Поляризация отношения. Предоставление испытуемым явно
сбалансированного набора аргументов за и против привело к усилению
исходной поляризации их мнений.
5. Эффект силы мнения. Испытуемые с более выраженными мнениями
были более склонны к вышеупомянутым склонностям к ошибкам.
6. Эффект сложности. Более политически искушенные субъекты из-за
наличия у них более тяжелого оружия для опровержения отвратительных
фактов и аргументов были более склонны к вышеупомянутым
систематическим ошибкам.
Забавно, что опыты Табера и Лоджа подтвердили все шесть
первоначальных гипотез авторов. Вы можете сказать: «Возможно, эти
эксперименты лишь отражают убеждения, на которые опирались авторы, и
это всего лишь пример предвзятости подтверждения». Если это так, то,
сделав вас лучшим спорщиком, а именно научив вас обвинять людей в еще
одной систематической ошибке, я на самом деле навредил вам: я ослабил
вашу реакцию на новую информацию. Я дал вам еще один шанс потерпеть

неудачу всякий раз, когда вы сталкиваетесь с возможностью изменить свой
образ мышления. Эвристики и когнитивные искажения широко
распространены в человеческом мышлении. Знание о них позволяет нам
замечать самые разнообразные логические ошибки, которые иначе были бы
недоступны нашему наблюдению. Но, как всякая способность обнаруживать
ошибки в рассуждениях, это знание должно применяться как к нашим
собственным идеям, так и к идеям других; к идеям, которые нам нравятся и
не нравятся. Знание человеческой ошибочности — опасное знание, если вы
будете напоминать себе об ошибочности тех, кто с вами не согласен. Если я
избирательно отношусь к тому, какие аргументы я проверяю на наличие
ошибок, или даже к тому, насколько глубоко я проверяю эти ошибки, то
каждый новый закон логики, каждое новое логическое несоответствие,
которое я учусь обнаруживать, делает меня глупее. Ум, чтобы быть
полезным, не должен использоваться для обмана самого себя.
Невозможно с самого начала рационализировать то, что не
рационально - как если бы ложь называлась "правдой". Вы не можете сделать
утверждение более верным с помощью подкупа, лести или даже страстной
аргументации — вы можете заставить больше людей поверить в
утверждение, но вы не можете сделать его более правдивым. Чтобы сделать
наши убеждения более верными, мы должны изменить сами эти убеждения.
Не каждое изменение является улучшением, но каждое улучшение является
изменением по определению.
Наши убеждения гораздо менее гибкие, чем мы привыкли думать.
Гриффин и Тверский аккуратно опросили каждого из двадцати четырёх
сотрудников, которые оказались в ситуации выбора из двух предложенных
вакансий и попросили их оценить, с какой вероятностью они примут то или
иное предложение. Средняя вероятность выбора, высказанная в отношении
более привлекательного предложения, составила умеренные 66%. Но только
один из 24 опрошенных выбрал в конечном счёте вариант, которому он

приписал в начале более низкую вероятность, доведя таким образом точность
до 96%. (Это — один из немногих известных примеров, когда имеет место не
«сверх-уверенность», а «недо-уверенность».)
Мораль в том, что как только вы начинаете догадываться, каков будет
ваш ответ, как только вы приписываете большую вероятность тому, что вы
ответите так, а не иначе, вы, на самом деле, уже решили. И если вы будете
честны с самим собой, вы должны признать, что обычно вы догадываетесь об
окончательном ответе через секунды после того, как услышите вопрос. Мы
меняем наши мнения гораздо реже, чем мы думаем. Насколько скоротечен
этот короткий незаметный момент, когда мы даже не можем догадаться,
каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам
отведено, чтобы на самом деле подумать — как в вопросах выбора, так и в
вопросах установления фактов.
Шенкель говорил: «Нет необходимости в вере, пока ситуация может
быть легко рассмотрена тем или другим образом».
Норман Майер: «Не предлагайте решения до тех пор, пока проблема не
будет исследована так тщательно, как это только возможно».
Робин Доуз, комментируя Майера, писал: «Я часто предлагал это
правило группам, которые я вел, в частности, когда они сталкивались с
особенно трудной проблемой. Это – типичная ситуация, когда члены группы
особенно склонны предлагать мгновенные решения».
В компьютерной безопасности «система, которой доверяют» (trusted
system) — это та, которой вы на самом деле доверяете, а не та, которая
достойна доверия. «Система, которой доверяют» — это система, которая,
будучи скомпрометированной, способна вызвать ошибку. Когда вы читаете
статью, утверждающую, что глобальная катастрофа невозможна, или имеет
определенную годовую вероятность, или может быть преодолена с
использованием определенной стратегии — вы доверяете рациональности

авторов. Вы доверяете способности авторов переходить от удобных выводов
к неудобным, даже в случае отсутствия сногсшибательных
экспериментальных свидетельств, опровергающих любимую гипотезу. Вы
доверяете авторам в том, что они не искали немного более интенсивно
ошибки в тех уравнениях, которые указывали на неверный, с их точки
зрения, путь, до того, как к вам попал окончательный вариант статьи.
И если власти вводят закон, по которому даже мельчайший риск
существованию человечества достаточен для того, чтобы закрыть проект;
или если становится нормой политики де-факто, что ни одно возможное
вычисление не может перевесить груз однажды высказанного
предположения, то тогда ни один ученый не рискнет больше высказывать
предположения. Я не знаю, как решить эту проблему. Но я думаю, что тем,
кто оценивает глобальные риски, следует иметь общие представления о
человеческих моделях рассуждений и когнитивных искажениях, и об ошибке
неподтверждения в частности.
Апатия прохожего
Последнее предубеждение, которое я рассматриваю, относится не к
сфере моделей рассуждений, а к сфере социальной психологии. В ныне
известной серии экспериментов Латане и Дарли обнаружили эффект
свидетеля, также известный как апатия свидетеля, при котором люди в
больших группах с меньшей вероятностью реагируют на чрезвычайные
ситуации не только индивидуально, но и коллективно. 75% испытуемых,
оказавшись в комнате одни и заметив дым из-под двери, выходят сообщить
об этом. Когда в комнате находятся трое испытуемых, не подозревающих об
условиях эксперимента, о дыме сообщается только в 38% случаев.
Испытуемый, находясь в компании двух ложных целей, намеренно не
реагирующих на дым, выходит сообщить о дыме только в 10% случаев.
Студент колледжа, симулировавший эпилептический припадок, получил

помощь от одного свидетеля в 85% случаев и только в 31% случаев, когда
присутствовали пять свидетелей.
Эффект стороннего наблюдателя обычно объясняется рассеянием
ответственности и неведением из-за неопределенности ситуации.
Пребывание в группе снижает индивидуальную ответственность. Все
надеются, что кто-то другой решит проблему за них, и это снимает личное
напряжение каждого по поводу того, что никто ничего не делает. Эта
гипотеза подтверждается опытами, в которых испытуемые считали, что
жертва находится в особой зависимости от них: это ослабляло или
полностью устраняло эффект равнодушия прохожего. Cialdini [Cialdini, 2001]
рекомендует человеку, оказавшемуся в чрезвычайной ситуации, выделить
одного одинокого свидетеля и попросить его о помощи, преодолевая таким
образом распыление ответственности.
Игнорирование из-за неопределенности ситуации — более тонкий
эффект. Cialdini пишет: «Часто чрезвычайная ситуация далеко не очевидна.
Человек, лежащий в парке, жертва сердечного приступа или спящий
пьяница? Перед лицом такой неопределенности естественным поведением
является поиск подсказок в действиях других людей. По поведению других
наблюдателей мы можем понять, является ли событие чрезвычайным или
нет. Однако легко забыть, что все остальные свидетели события тоже ищут
социального подтверждения. Поскольку все мы предпочитаем казаться
уравновешенными и хладнокровными, мы будем искать это подтверждение
тайно, бросая короткие взгляды на окружающих нас людей. Поэтому каждый
увидит другого, скорее всего, спокойным и ничего не делающим.
Эффект постороннего не имеет ничего общего с личным эгоизмом или
нечувствительностью к страданиям других. Люди обычно действуют в
одиночку. Игнорирование в силу неопределенности ситуации может
объяснить, в отличие от индивидуального эгоизма, почему испытуемые не
реагируют на заполнение помещения дымом. В экспериментах, где

существовала явная опасность как для окружающих, так и для самих себя,
испытуемые часто бросали взгляды на безразличных подсадных уток.
Время от времени я спрашиваю: «Если «глобальный риск Х» реален,
почему мало кто что-то предпринимает для его устранения?» Есть много
возможных ответов, части которых я коснулся здесь. Люди могут быть
слишком самоуверенными и чрезмерно оптимистичными. Они могут быть
ориентированы на какой-то один сценарий будущего, исключая при этом все
остальные. Они могут не вспомнить ни одного случая всеобщего
истребления. Они могут переоценивать предсказуемость прошлого и тем
самым недооценивать сюрпризы будущего. Они могут не осознавать
трудности подготовки к чрезвычайным ситуациям, не зная задним числом.
Они могут предпочесть благотворительные игры с высокой вероятностью
выигрыша, пренебрегая размером ставки. Они могут приравнять
положительную информацию о преимуществах технологии к отрицательной
информации о ее рисках. Их можно отравить фильмами, в которых мир
наконец спасается. Им гораздо легче получить моральное удовлетворение,
отдав деньги на другие виды благотворительности. Или крайне неудачная
перспектива вымирания человечества может побудить их искать причины
того, что человечество не вымрет без столь же интенсивного поиска причин,
по которым это могло бы произойти.
Но если возникает вопрос: «Почему так мало людей что-то
предпринимают в связи с этим?», одним из возможных моментов может быть
то, что люди, задающие именно этот вопрос, оглядываются вокруг, чтобы
увидеть, есть ли кто-нибудь еще. кто-то, кто реагирует на опасность, и в то
же время старается выглядеть уравновешенным и сохранять самообладание.
Если вы хотите узнать, почему другие не реагируют на опасность до того, как
вы среагируете сами, возможно, вы уже ответили на свой вопрос.
Любая обоснованная идея, которая вас раздражает, по-видимому,
запускает в вас как минимум одну модель психологической ошибки.

Роберт Пирсиг сказал: «Самый глупый человек в мире может сказать,
что солнце светит, и от этого оно не погаснет». Если вы подозреваете кого-то
в психологической ошибке, сначала продемонстрируйте свою
компетентность, разоблачив его фактические ошибки. А если фактических
ошибок нет, то какое дело до психологии? Соблазн психологии состоит в
том, что, обладая небольшим ее знанием, мы можем вмешиваться в споры, в
которых мы не являемся техническими экспертами, мудро анализируя
психологию спорящих.
Если кто-то написал роман об астероиде, уничтожающем современную
цивилизацию, то можно критиковать этот роман как экстремистский,
антиутопический, апокалиптический; симптоматично наивное неумение
автора взаимодействовать со сложным технологическим обществом. Мы
должны признать здесь литературную критику, а не критику научную; речь
идет о хороших или плохих романах, а не о хороших или плохих гипотезах.
Чтобы вычислить годовую вероятность падения астероида в реальности,
нужно изучать астрономию и поднимать исторические рекорды: никакая
литературная критика никак не влияет на это число. Гарро [Garreau 2005],
кажется, утверждает, что сценарий постепенного роста искусственного
интеллекта является более зрелым и обдуманным, чем сценарий очень
быстрого развития искусственного интеллекта. Но это вопрос техники, а не
предпочтения; никакой психологический анализ не даст точного значения
наклона кривой.
Обвиняя кого-то в ошибке загрязнения, вам нужно предоставить
список конкретных деталей, которые, с вашей точки зрения, являются
дополнительной нагрузкой и снижают общую надежность. Тем не менее, не
теряйте связи с фактами первостепенной важности, не позволяйте спору
превратиться в спор о психологии.
Несмотря на все опасности и соблазны, лучше знать о когнитивных
искажениях, чем не знать их. Иначе мы попадем прямо во вращающиеся

лопасти вертолета жизни. Но будьте очень осторожны и не слишком
торопитесь обвинять других в когнитивных искажениях. Таким образом, вы
станете только профессиональным спорщиком - тем, кто, встретив любой
аргумент, который ему не нравится, найдет в нем систематическую ошибку.
За кем вам нужно следить больше всего, так это за собой.
Джерри Кливер сказал о спортивных матчах: «Разрушают не ошибки в
выполнении замысловатых приемов. Разрушает элементарно: потеря мяча из
поля зрения. Анализ должен быть сосредоточен на проверяемых
утверждениях о реальном мире. Следите за мячом.
Заключение
Любой глобальный риск порождает проблемы, общие со всеми
остальными глобальными рисками, дополнительно к специальным знаниям,
связанным с этим конкретным риском. Кто-то в комитете по проблемам
физических катастроф должен знать, что означает термин «глобальный
риск»; он должен обладать всеми навыками, которые область знания,
связанная с глобальными рисками, располагает. Для максимальной
безопасности этот ученый должен быть также психологом. Высокий уровень
знаний в конкретной области и относительно области глобальных рисков
должен быть объединен в одном человеке. Я не верю, что специалист по
моделям мышления и заблуждениям, неспособный прочесть физическое
уравнение, способен проверить работу физика, который ничего не знает о
психологии заблуждений.