Почему эксперты ошибаются чаще любителей — и когда им верить

Исследование, которое перевернуло представление об экспертизе

В 1984 году молодой психолог Филип Тетлок из Университета Пенсильвании начал амбициозный проект. Он собрал 284 эксперта — политологов, экономистов, журналистов, аналитиков спецслужб — и попросил их делать конкретные прогнозы о будущем. Не абстрактные рассуждения, а измеримые предсказания: распадётся ли СССР? Вырастет ли ВВП Японии? Начнётся ли война в Персидском заливе?

За 20 лет Тетлок собрал более 82 000 прогнозов. Затем сверил их с реальностью. Результат, опубликованный в книге «Expert Political Judgment» (2005), стал одним из самых цитируемых открытий в социальных науках: эксперты предсказывали будущее хуже, чем простые статистические модели. И лишь немногим лучше, чем случайное угадывание.

Знаменитая формулировка: «средний эксперт предсказывает примерно так же точно, как шимпанзе, бросающая дротики в мишень». Это не оскорбление — это математический факт. При трёх вариантах ответа (станет лучше / останется так же / станет хуже) случайное угадывание даёт 33% точности. Эксперты показали 33–37%. Статистические модели — 40–45%.

Самое поразительное: чем известнее эксперт, тем хуже его прогнозы. Люди, которых чаще всего приглашают на телевидение, цитируют в газетах, просят комментировать события — предсказывают хуже, чем их менее публичные коллеги. Медийность и точность оказались в обратной корреляции.

Почему экспертиза создаёт слепые пятна

Тетлок выделил несколько механизмов, которые делают экспертов плохими прогнозистами. Первый — сверхуверенность (overconfidence). Годы изучения темы создают иллюзию понимания. Эксперт знает так много деталей, что ему кажется: он видит картину целиком. На самом деле он видит одну проекцию сложной системы и принимает её за всю реальность.

Второй механизм — нарративное мышление. Эксперты строят красивые истории о том, как устроен мир. «Россия всегда стремилась к экспансии», «рынки всегда возвращаются к среднему», «технологии всегда побеждают». Эти нарративы элегантны и убедительны — но реальность не обязана следовать красивым историям. Она хаотична, нелинейна и полна сюрпризов.

Третий — невозвратные затраты (sunk cost). Эксперт, который 30 лет строил теорию, не может легко от неё отказаться. Он будет искать подтверждения и игнорировать опровержения. Это не злой умысел — это человеческая психология. Но результат тот же: прогнозы искажаются в сторону привычной теории, даже когда реальность ей противоречит.

Четвёртый — отсутствие обратной связи. Когда хирург ошибается — пациент умирает. Когда пилот ошибается — самолёт падает. Обратная связь мгновенная и жёсткая. Когда политолог ошибается в прогнозе — ничего не происходит. Через год никто не помнит, что он предсказывал. Нет наказания за ошибку — нет стимула улучшаться. Даже AI-системы учатся на ошибках быстрее, чем эксперты-люди.

Лисы и ежи: кто предсказывает лучше

Тетлок обнаружил, что не все эксперты одинаково плохи. Он разделил их на две группы, используя метафору древнегреческого поэта Архилоха: «Лиса знает много вещей, а ёж — одну большую вещь».

«Ежи» — эксперты с одной большой идеей, через которую они объясняют всё. Марксист видит классовую борьбу везде. Либертарианец видит вред государственного вмешательства в каждой проблеме. Технооптимист верит, что технологии решат всё. Ежи уверены, красноречивы, убедительны — и катастрофически неточны в прогнозах.

«Лисы» — эксперты без единой большой теории. Они собирают информацию из разных источников, учитывают множество факторов, сомневаются в собственных выводах, готовы менять мнение при появлении новых данных. Лисы скучны на телевидении — они говорят «с одной стороны... с другой стороны...» вместо чётких заявлений. Но их прогнозы значительно точнее.

Разница не в знаниях — и лисы, и ежи одинаково образованы. Разница в когнитивном стиле. Ежи мыслят дедуктивно: от теории к фактам. Лисы — индуктивно: от фактов к осторожным выводам. Ежи ищут подтверждения своей теории. Лисы ищут опровержения. Ежи уверены. Лисы сомневаются. И именно сомнение делает прогнозы точнее.

Когда экспертам МОЖНО верить

Исследование Тетлока не означает, что экспертиза бесполезна. Оно означает, что экспертиза бесполезна для прогнозирования в сложных системах (политика, экономика, геополитика). Но есть области, где эксперты надёжны — и важно понимать разницу.

Психолог Гэри Клейн выделил условия, при которых экспертная интуиция работает: регулярная практика, быстрая обратная связь, стабильная среда. Хирург, который провёл тысячи операций и видел результат каждой — надёжный эксперт. Шахматист, который сыграл десятки тысяч партий — надёжный эксперт. Метеоролог, предсказывающий погоду на 3 дня — надёжный эксперт (на 10 дней — уже нет).

Правило простое: чем более предсказуема среда и чем быстрее обратная связь — тем надёжнее эксперт. Хирургия предсказуема (анатомия не меняется). Шахматы предсказуемы (правила фиксированы). Погода на 3 дня предсказуема (физика атмосферы хорошо изучена). А вот политика, фондовый рынок, технологические тренды — непредсказуемы. И эксперты в этих областях не лучше любителей.

Папа Лев XIV призвал к человечности в эпоху AI — и это тоже вопрос экспертизы. Религиозный лидер — эксперт в вопросах морали? Или его мнение не более ценно, чем мнение любого другого человека? Ответ зависит от того, считаете ли вы мораль «предсказуемой средой» с «быстрой обратной связью». Скорее всего — нет.

Суперпрогнозисты: люди, которые предсказывают лучше всех

После публикации книги Тетлок не остановился. Он запустил проект Good Judgment Project — турнир прогнозистов, спонсированный разведывательным сообществом США (IARPA). Тысячи добровольцев делали прогнозы о геополитических событиях. И обнаружилось: небольшая группа людей (около 2%) стабильно предсказывает лучше всех остальных — включая аналитиков ЦРУ с доступом к секретной информации.

Тетлок назвал их «суперпрогнозистами» и изучил, что их объединяет. Не IQ (хотя он выше среднего). Не образование (среди них есть и профессора, и программисты, и домохозяйки). Их объединяет когнитивный стиль: они думают вероятностями, а не определённостями. Они говорят «70% вероятность», а не «точно произойдёт». Они обновляют оценки при появлении новых данных. Они ищут информацию, которая противоречит их текущему мнению.

Суперпрогнозисты — это «лисы» в чистом виде. Они не привязаны к одной теории. Они не стесняются сказать «я не знаю». Они тратят время на калибровку — проверку, насколько их уверенность соответствует реальной точности. Если они говорят «70% вероятность» — событие действительно происходит в 70% случаев. Это звучит просто, но большинство людей (включая экспертов) катастрофически плохо калиброваны.

Президент Uber усомнился в ROI от AI — и это пример «лисьего» мышления в бизнесе. Вместо безусловной веры в технологию — готовность признать неопределённость. Такой подход непопулярен (инвесторы любят уверенность), но статистически более точен.

Как фильтровать экспертные мнения: практические правила

Первое правило: остерегайтесь уверенности. Чем увереннее эксперт в своём прогнозе — тем больше оснований для скептицизма. Настоящий специалист знает границы своего знания и говорит о вероятностях, а не о неизбежностях. «Я уверен на 100%» — красный флаг.

Второе: проверяйте track record. Хороший эксперт может показать историю своих прогнозов — и процент попаданий. Если эксперт никогда не публиковал конкретных, проверяемых предсказаний — его мнение стоит не больше, чем мнение случайного прохожего. Слова дёшевы; результаты — нет.

Третье: ищите «лис». Эксперт, который рассматривает проблему с нескольких сторон, признаёт аргументы оппонентов и готов изменить мнение — скорее всего, точнее, чем тот, кто продвигает одну большую идею. Скучные, осторожные, многословные эксперты — парадоксально — надёжнее ярких и убедительных.

Четвёртое: различайте области. Доверяйте хирургу в вопросах хирургии, но не в вопросах экономики. Доверяйте экономисту в анализе прошлого, но не в прогнозах будущего. Доверяйте метеорологу на 3 дня, но не на 3 месяца. Экспертиза не переносится между областями и не распространяется на прогнозирование в сложных системах.

Пятое и главное: формируйте собственное мнение. Не делегируйте мышление экспертам — используйте их как один из источников информации. Собирайте данные из разных источников, ищите противоречия, думайте вероятностями. Вы не станете суперпрогнозистом за день — но вы точно станете лучше, чем средний потребитель экспертных мнений из телевизора.