Несколько исследователей, изучив работу и самооценку аналитиков ценных бумаг, получили удивительные результаты, особенно в отношении эпистемической самонадеянности этих деятелей. Сравнивая их с метеорологами, прогнозирующими погоду, Тадеуш Тышка и Петр Зелонка констатируют, что аналитики предсказывают хуже, но при этом больше верят в собственное умение. Во всяком случае, им хватает апломба не снижать предела погрешности после откровенных провалов.

Булю показал мне удивительную исследовательскую работу, только что законченную его практикантом и уже принятую к публикации; в ней подробно рассматривались две тысячи предсказаний, сделанных аналитиками ценных бумаг. В работе наглядно показывалось, что эти брокер-аналитики не предсказывали ничего: наивный прогноз человека, просто переносящего цифры из истекшего периода в следующий, был бы немногим хуже. А ведь аналитики владеют информацией о заказах, грядущих контрактах и планируемых расходах и благодаря этим ценным знаниям вроде должны прогнозировать значительно лучше, чем наш наивный предсказатель, не располагающий никакой информацией, кроме прошлых данных. Хуже того, разрыв между предсказанными и реальными величинами был гораздо существенней, чем между разными прогнозами, а значит, аналитиками руководил стадный инстинкт. Иначе прогнозы отстояли бы друг от друга настолько же, насколько они отстоят от реальности.

Самый интересный анализ того, как академические методы работают в реальной жизни, осуществил Спирос Макридакис. Он устраивал соревнования прогнозистов, использующих так называемую эконометрику — «научный метод», соединяющий экономическую теорию со статистическими измерениями. Попросту говоря, Макридакис заставлял людей предсказывать в реальной жизни, а потом оценивал точность их прогнозов. Вместе с Мишель Ибон он провел несколько «М-состязаний»; третье, и последнее из них, — М-3 — завершилось в 1999 году. Макридакис и Ибон пришли к печальному выводу: «Новейшими и сложнейшими статистическими методами не обязательно достигаются более точные результаты, чем самыми простыми».

Тетлок изучал проблему «экспертов» в политике и экономике. Он просил специалистов из разных областей оценить вероятность того, что в течение заданного временного периода (около пяти лет) произойдут определенные политические, экономические и военные события. На выходе он получил около двадцати семи тысяч предсказаний почти от трех сотен специалистов. Экономисты составляли около четверти выборки. Исследование показало, что эксперты далеко вышли за пределы своих допусков на ошибку. Обнаружилась и экспертная проблема: между результатами докторов наук и студентов не было разницы. Профессора, имеющие большой список публикаций, справлялись не лучше журналистов. Единственной закономерностью, которую обнаружил Тетлок, была обратная зависимость прогноза от репутации: обладатели громкого имени предсказывали хуже, чем те, кто им не обзавелся.
Но Тетлок ставил перед собой задачу не столько показать, чего реально стоят эксперты (хотя у него это замечательно получилось), сколько выяснить, почему до них никак не доходит, что они плохо справляются со своей работой, иными словами, как им удается «втирать себе очки».
<...>
Вы говорите, что играли в другую игру. Допустим, вам не удалось предсказать неожиданный крах Советского Союза (этого не предвидел ни один социолог). Легко заявить, что вы прекрасно понимали суть политических процессов, происходивших в Советском Союзе, но эти русские, будучи чрезмерно русскими, искусно скрыли от вас существенные экономические составляющие. Если бы вы обладали этими экономическими данными, вы бы уж конечно смогли предсказать падение советского режима. Винить надо не вашу квалификацию. Так же можно действовать, если вы предсказали решительную победу Эла Гора над Джорджем У. Бушем. Вы не знали, что экономика в таком отчаянном положении; собственно, этот факт, кажется, был тайной для всех. Вы же не экономист, а борьба-то, оказывается, шла на экономическом ринге.
Вы валите все на непредвиденные обстоятельства. Случилось что-то необычайное, лежащее вне поля вашей науки. Поскольку это нельзя было предсказать, вы не виноваты. Это был Черный лебедь, а вы не обязаны предсказывать Черных лебедей.