Суть метода

Представьте десять знаменитых компаний, которые сделали один и тот же смелый шаг и преуспели. А что с теми, кто попробовал то же самое и проиграл? О них вы не слышите, поэтому ничему у них не учитесь. Учиться только у победителей, которых ещё видно, — это и есть ошибка выжившего.

Чтобы её исправить, посчитайте всех, кто пробовал, как будто результаты ещё неизвестны. Тогда вы узнаете две вещи. Первая — честная базовая частота: сколько из тех, кто пробовал, добились успеха. Вторая — была ли знаменитая черта победителей и у тех, кто проиграл. Если была, успеха она не объясняет.

Откуда он взялся

У идеи нет одного автора, и неизвестно, когда её впервые так назвали. Всерьёз её впервые изучил статистик Абрахам Вальд (1902–1950). Во время Второй мировой войны он работал в Группе статистических исследований Колумбийского университета. В 1943 году он написал работу «A Method of Estimating Plane Vulnerability Based on Damage of Survivors». Тогда работу засекретили, а в 1980 году её перепечатал Центр военно-морского анализа.

Пробоины Вальд мог посчитать только у самолётов, которые вернулись на базу. По ним он оценил повреждения у всех самолётов, которые вылетали на задания. Рассуждал он так: меньше всего шансов вернуться у самолёта, подбитого в самое уязвимое место. Значит, если у вернувшихся машин в каком-то месте мало пробоин, именно попадания туда и сбивали самолёты.

В популярном пересказе этой истории Вальд советует военным ставить броню туда, где у вернувшихся самолётов нет пробоин. Этот пересказ появился позже. Сама работа Вальда — это набор уравнений для оценки.

В финансах термин стал общепринятым в 1990-х. В 1992 году вышла работа четырёх исследователей: Брауна, Гетцмана, Ибботсона и Росса. Они разобрали, что бывает, если в данных остаются только фонды, которые ещё работают. Оказалось, что по таким данным результаты фондов могут казаться предсказуемыми, хотя на деле это не так.

Какую ошибку он исправляет

Допустим, вы решаете, повторить ли чужой шаг: способ назначать цены, планку при найме, новую линейку товаров. Ваши данные — компании, которые сделали этот шаг и до сих пор существуют. Вы внимательно изучаете этих победителей, находите у них общее и считаете эти черты причинами успеха.

Ошибку трудно заметить, потому что список выглядит полным. По списку вы не поймёте, что проигравшие компании из него выпали. А успех или провал компании — как раз то, что вы хотите объяснить. Старание здесь только вредит. Чем пристальнее вы изучаете выживших, тем заметнее их общая черта. Вы всё увереннее, но ответ от этого не становится точнее. Исправить ошибку можно только данными о тех, кто в число победителей не попал.

Как применять

Превратите утверждение в вопрос о доле: из всех, кто это пробовал, сколько добились результата?
Посчитайте всех, кто пробовал, как будто результаты ещё неизвестны.
Назовите, почему компании пропадают из виду. Это может быть банкротство, тихая продажа, уход с биржи или закрытый проект. Или о компании просто было скучно писать.
Узнайте о недостающей группе всё, что сможете, хотя бы примерно. Ищите в реестрах компаний, в данных о том, сколько фирм открывается каждый год, во всём портфеле инвестора.
Проверьте, не встречалась ли черта победителей так же часто у тех, кто проиграл.
Оставьте только выводы, которые выдержали эту проверку, и скажите, чего найти не удалось.

Разобранный пример

В октябре 1982 года вышла книга «В поисках совершенства» (In Search of Excellence). Её написали два консультанта McKinsey, Том Питерс и Роберт Уотерман. Они спросили партнёров своей фирмы и других деловых людей, чья работа их впечатляет. Так набралось 62 компании. Потом авторы проверили результаты каждой компании и оставили 43. General Electric была в первом списке, но выбыла: в расчёт шли только результаты. Восемь принципов книги, от «склонности к действию» до «держаться своего дела», авторы вывели из общих черт этих 43 компаний.

Авторы отбирали компании по результатам. Любая компания, которая следовала принципам, но пережила плохое десятилетие, проверку не прошла и в список не попала. Поэтому никто не мог понять из исследования, принесли ли результаты сами принципы. Позже у нескольких из этих 43 компаний начались трудности. Одна из них — Wang Laboratories: на пике, в 1980-х, её годовая выручка приближалась к $3 млрд. В августе 1992 года она обратилась в суд за защитой от кредиторов.

Это ещё не значит, что книга бесполезна. В 2002 году Forbes проверил, как шли дела у этих компаний после выхода книги. Их акции всё же приносили в среднем около 14,1% годовых. Акции компаний из индекса Dow Jones приносили 11,3%. Но доказать по этой книге, что успех принесли именно принципы, никто не мог: второй половины данных в ней не было.

В кейсах Business Case Weekly

В кейсе о Y Combinator вы сначала читаете о нескольких знаменитых стартапах, которые финансировал Y Combinator. Всего он профинансировал 5 668 компаний. Он вложил в них около $1,5 млрд, а вместе они стоят примерно $600 млрд. Один из вопросов кейса — не ослабят ли модель Y Combinator более крупные наборы. Набором здесь называют группу стартапов, которые проходят программу вместе.

Чтобы сделать поправку на ошибку выжившего, смотрите на долю успехов среди всех 5 668 компаний. Не стройте довод на горстке выпускников, которых знают все. Узнайте и то, что получила от программы медианная компания. Это та, что окажется посередине, если выстроить все 5 668 в ряд. Тогда станет ясно, какие данные нужны для ответа. Сам ответ остаётся за вами.

В вашем ответе

«Эти случаи отобраны по тому, чем они кончились: список составили, когда результаты уже были известны»
«Тот же шаг пробовали сделать примерно N компаний. Из истории выпали …»
«Та же черта есть и у провалившихся компаний, которые мне удалось найти, поэтому успеха она не объясняет. В лучшем случае это необходимое условие»
«Восстановить недостающую группу здесь я не могу, поэтому уверенности в этом выводе у меня мало. Проверить его можно так: …»

Типичная ошибка применения

Мнимое лекарство — назвать ошибку выжившего и продолжить как ни в чём не бывало. Кто-то пишет: «в этих примерах, очевидно, есть ошибка выжившего». А вывод всё равно делает прежний. Обратная крайность — из-за этой ошибки отказываться от любых уроков, будто успешная компания вообще ничего не доказывает. Спросите себя: изменилась ли ваша базовая частота и насколько? Если ни одна цифра и ни один вывод не изменились, работа не сделана.

Источники

Абрахам Вальд, «A Method of Estimating Plane Vulnerability Based on Damage of Survivors» (1943), перепечатка Центра военно-морского анализа, 1980. Первоисточник; читается тяжело.
Стивен Браун, Уильям Гетцман, Роджер Ибботсон и Стивен Росс, «Survivorship Bias in Performance Studies», Review of Financial Studies 5(4), 1992, 553–580.
Марк Кархарт, Дженнифер Карпентер, Энтони Линч и Дэвид Мусто, «Mutual Fund Survivorship», Review of Financial Studies 15(5), 2002, 1439–1463. Авторы измерили величину ошибки: 0,07% в год на годичных выборках, около 1% в год на выборках длиннее пятнадцати лет.
Джордан Элленберг, How Not to Be Wrong: The Power of Mathematical Thinking, Penguin Press, 2014. Книга открывается историей Вальда.

Ошибка выжившего