Проблема в том, что мы сосредоточиваемся на тех редких случаях, когда наша методика срабатывает, и почти никогда — на многочисленных примерах ее несостоятельности.
Тетлок изучал проблему «экспертов» в политике и экономике. Он просил специалистов из разных областей оценить вероятность того, что в течение заданного временного периода (около пяти лет) произойдут определенные политические, экономические и военные события. На выходе он получил около двадцати семи тысяч предсказаний почти от трех сотен специалистов. Экономисты составляли около четверти выборки. Исследование показало, что эксперты далеко вышли за пределы своих допусков на ошибку. Обнаружилась и экспертная проблема: между результатами докторов наук и студентов не было разницы. Профессора, имеющие большой список публикаций, справлялись не лучше журналистов. Единственной закономерностью, которую обнаружил Тетлок, была обратная зависимость прогноза от репутации: обладатели громкого имени предсказывали хуже, чем те, кто им не обзавелся.
Но Тетлок ставил перед собой задачу не столько показать, чего реально стоят эксперты (хотя у него это замечательно получилось), сколько выяснить, почему до них никак не доходит, что они плохо справляются со своей работой, иными словами, как им удается «втирать себе очки».
<...>
Вы говорите, что играли в другую игру. Допустим, вам не удалось предсказать неожиданный крах Советского Союза (этого не предвидел ни один социолог). Легко заявить, что вы прекрасно понимали суть политических процессов, происходивших в Советском Союзе, но эти русские, будучи чрезмерно русскими, искусно скрыли от вас существенные экономические составляющие. Если бы вы обладали этими экономическими данными, вы бы уж конечно смогли предсказать падение советского режима. Винить надо не вашу квалификацию. Так же можно действовать, если вы предсказали решительную победу Эла Гора над Джорджем У. Бушем. Вы не знали, что экономика в таком отчаянном положении; собственно, этот факт, кажется, был тайной для всех. Вы же не экономист, а борьба-то, оказывается, шла на экономическом ринге.
Вы валите все на непредвиденные обстоятельства. Случилось что-то необычайное, лежащее вне поля вашей науки. Поскольку это нельзя было предсказать, вы не виноваты. Это был Черный лебедь, а вы не обязаны предсказывать Черных лебедей.
Булю показал мне удивительную исследовательскую работу, только что законченную его практикантом и уже принятую к публикации; в ней подробно рассматривались две тысячи предсказаний, сделанных аналитиками ценных бумаг. В работе наглядно показывалось, что эти брокер-аналитики не предсказывали ничего: наивный прогноз человека, просто переносящего цифры из истекшего периода в следующий, был бы немногим хуже. А ведь аналитики владеют информацией о заказах, грядущих контрактах и планируемых расходах и благодаря этим ценным знаниям вроде должны прогнозировать значительно лучше, чем наш наивный предсказатель, не располагающий никакой информацией, кроме прошлых данных. Хуже того, разрыв между предсказанными и реальными величинами был гораздо существенней, чем между разными прогнозами, а значит, аналитиками руководил стадный инстинкт. Иначе прогнозы отстояли бы друг от друга настолько же, насколько они отстоят от реальности.
Пояснение к цитате:
Жан-Филипп Булю – французский учёный, вслед за Бенуа Мандельбротом (положившим начало этому направлению в конце 1950-х годов) применяющий методы статистической физики к экономическим переменным.
Несколько исследователей, изучив работу и самооценку аналитиков ценных бумаг, получили удивительные результаты, особенно в отношении эпистемической самонадеянности этих деятелей. Сравнивая их с метеорологами, прогнозирующими погоду, Тадеуш Тышка и Петр Зелонка констатируют, что аналитики предсказывают хуже, но при этом больше верят в собственное умение. Во всяком случае, им хватает апломба не снижать предела погрешности после откровенных провалов.
Прогнозисты от экономики, как мы очень скоро убедимся, гораздо ближе в своих догадках друг к другу, чем к реальному результату. Никто не хочет быть белой вороной.
Важно не то, насколько редко мы ошибаемся, а какова суммарная погрешность.
Посмотрим с этой точки зрения на события 11 сентября 2001 года. Около двух с половиной тысяч человек были убиты группой террористов Бен Ладена в башнях-близнецах Международного торгового центра. Их семьи, как и положено, получили поддержку со стороны всевозможных агентств и благотворительных организаций. Но, по данным исследований, за последующие три месяца того же года более тысячи людей стали тайными жертвами террористов. Каким образом? Боязнь летать самолетом заставила многих сесть за руль автомобиля, а дороги куда более опасны, чем воздушные пути. В тот период был отмечен значительный рост числа происшествий на дорогах. Семьи этих погибших не получили поддержки — они даже не узнали, что их близкие тоже стали жертвами Бен Ладена.
Пояснение к цитате:
О неявных последствиях
Грег Баррон и Идо Эрев в ходе ряда опытов установили, что люди склонны преуменьшать малую вероятность, если им самим приходится ее просчитывать, то есть если она не обозначена в цифрах. Представьте, что вы тянете шары из урны, в которой очень мало красных и много черных шаров, и вам нужно угадать, какого цвета шар вы сейчас вытащите; при этом вы не знаете точного соотношения красных и черных. Скорее всего, по вашей оценке, вероятность вытащить красный шар окажется ниже, чем она есть на самом деле. А вот если вам сказать, к примеру, что красных шаров — 3 процента, вы, наоборот, будете ошибаться, говоря «красный» чаще, чем нужно.
Канеман и Тверски заметили, что люди способны всерьез задуматься о, казалось бы, маловероятных явлениях, если вовлечь их в обсуждение подобных явлений и дать почувствовать, что эти события не так уж нереальны. Например, если спросить человека, какова вероятность гибели в авиакатастрофе, он, скорее всего, завысит цифру.
По данным психолога Пола Словича и его коллег, люди, представьте себе, охотнее платят за страхование от терактов, чем от авиакатастроф (хотя в число последних террористические акты входят как частный случай). <...>
В то же время, как утверждает Слович, в вопросах страхования люди обычно пренебрегают событиями с низкой вероятностью. Это можно сформулировать так: люди предпочитают страхование от возможных мелких убытков, тогда как менее вероятные, но гораздо более крупные потери не принимаются в расчет.
Какая из этих ситуаций, на ваш взгляд, более вероятна?
1. Джой, судя по всему, был счастлив в браке. Он убил свою жену.
2. Джой, судя по всему, был счастлив в браке. Он убил свою жену, чтобы завладеть ее наследством.
Наверняка, повинуясь первому впечатлению, вы скажете, что вероятнее второй вариант, хотя это чистой воды логическая ошибка, ведь первое утверждение шире и охватывает не одну возможную причину, а множество: Джой убил свою жену, потому что сошел с ума, или потому, что та изменила ему с почтальоном и лыжным инструктором, или потому, что в состоянии помрачения он принял ее за специалиста по финансовому прогнозированию.
Психологи Канеман и Тверски <...> провели такой эксперимент: испытуемых (а это были люди, чья профессия связана с составлением прогнозов) просили оценить вероятность двух событий:
а) в Америке случится сильное наводнение, в результате которого погибнет более тысячи человек;
б) землетрясение в Калифорнии вызовет сильное наводнение, в результате которого погибнет более тысячи человек.
По мнению респондентов, первый вариант менее вероятен, чем второй: ведь землетрясение в Калифорнии — это причина, которую легко допустить и которая делает ситуацию наводнения более представимой, тем самым повышая ее вероятность в наших глазах.
Точно так же, если я спрошу: «Как вам кажется, сколько ваших сограждан больны раком легких?» — вы назовете какую-нибудь цифру (ну, скажем, полмиллиона). Однако если я спрошу, сколько человек в вашей стране заболели раком легких в результате курения, цифра, которую вы назовете, окажется гораздо (пожалуй, что и в два-три раза) больше. Если указана причина явления, это явление выглядит куда более правдоподобным — и куда более вероятным. В рак от курения верится легче, чем в рак без причины (если причина неясна, это все равно, что ее нет).
В 1971 году психологи Дэнни Канеман и Амос Тверски решили помучить профессоров статистики вопросами, сформулированными не как статистические вопросы. Один был приблизительно таков (для большей ясности я поменял пример): представьте, что вы живете в городе, где есть две больницы — одна большая, другая маленькая. В определенный день в одной из этих двух больниц рождается 60 процентов мальчиков. В какой больнице это скорее могло бы произойти? Многие профессора делали ошибку (во время обычной беседы), называя большую больницу, в то время как суть статистики заключается в том, что большие выборки более стабильны и имеют меньше отклонений от долгосрочного среднего показателя (в нашем случае 50 процентов каждого пола), чем маленькие выборки. Эти профессора провалили бы экзамены, которые сами же принимают. Еще работая квант-инженером, я выявил сотни таких серьезных ошибок, сделанных статистиками, забывшими о том, что они статистики.
Массы представляются мне достойными внимания только в трёх отношениях: прежде всего, как плохие копии великих людей, изготовленные на плохой бумаге со стёртых негативов, затем, как противодействие великим людям и, наконец, как орудие великих людей; в остальном же побери их чёрт и статистика!
Статистика такими данными не располагает — сколько людей ползает, а сколько летает.
Странно. Девяноста пяти процентам людей я не могу сказать правду, потому что они ее не поймут или обидятся. И девяносто пять процентов людей никогда не говорят правды мне, потому что обижусь я. И сам себе я в десяти случаях из ста не могу сказать правду, потому что мне будет страшно.