Дельфины уходят на глубину
✦ Серия «Как нейробиолог квартиры продавал» · глава 14 из 20Ошибка выжившего: выводы строятся по тем, кто дошёл, а не дошедшие в данные не попадают.
Кампанию под названием «Истории новосёлов» принесли в сентябре, и она была безупречна по всем формальным признакам.
Восемь роликов по девяносто секунд. Реальные покупатели, без актёров. Мужчина сорока лет: купил студию в «Смальте» под сдачу, через год открыл кофейню на первом этаже соседнего дома. Пара из «Авроры»: переехали, родился второй ребёнок, теперь по утрам гуляют у пруда. Женщина, которая после развода взяла однушку и, как она говорила в камеру, «впервые за двенадцать лет живёт там, где хочет».
Всё было правдой. Всех этих людей нашли, а не выдумали. Съёмка стоила девять миллионов.
Герман посмотрел ролики подряд, дважды, и спросил:
— Сколько человек вы обзвонили, чтобы найти восьмерых?
— Четыреста двадцать, — сказал продюсер с гордостью.
— Хорошо. А сколько из четырёхсот двадцати рассказали историю, которую нельзя снимать?
Продюсер посмотрел на него непонимающе.
— Ну… разные были. Кто-то отказался. Кто-то невнятно говорит. Один вообще продал квартиру в первый год.
— Почему продал?
— Не спрашивали. Он не подошёл по критериям.
— Вот именно, — сказал Герман. — Он не подошёл по критериям.
Про дельфинов он рассказывал на следующем совете, и это было последнее его выступление у доски, о котором потом вспоминали с удовольствием.
— Известная история, — начал он. — Люди рассказывают, что дельфины спасают тонущих: подталкивают их к берегу. Таких свидетельств много, они трогательные, и в них нет ни капли лжи — спасённые действительно рассказывают, как их толкали к берегу.
Он нарисовал на доске волнистую линию и над ней человечка.
— Теперь вопрос: сколько существует свидетельств о том, как дельфин толкал человека в другую сторону? В открытое море?
За столом посмеялись.
— Не смешно, — сказал Герман. — Ноль свидетельств. Ровно ноль. И это не потому, что дельфины не толкают в море. Это потому, что человек, которого толкнули в море, не возвращается рассказать. Мы имеем стопроцентную статистику спасения, построенную исключительно на выживших.
Он повернулся к залу.
— То же самое во время войны делали с самолётами. Смотрели, куда попадают пробоины у вернувшихся машин, и хотели усилить броню там, где дырок больше. Пока не сообразили: усиливать надо там, где у вернувшихся дырок нет. Потому что самолёты с пробоинами в этих местах не вернулись.
— И какое отношение это имеет к роликам? — спросил Дробот.
— Прямое. Ваша кампания снята по вернувшимся самолётам. Четыреста двадцать звонков, восемь героев, у которых всё сложилось. Вы показываете человеку, который завтра возьмёт ипотеку на двадцать лет, восемь исходов из восьми возможных, и все восемь — счастливые. Это не реклама. Это подделка выборки.
— Это реклама, — сказал Дробот. — Она везде такая.
— Она везде такая, — согласился Герман. — И именно поэтому она больше не работает. Ваш зритель видел эти ролики тысячу раз, у всех застройщиков страны, и он им не верит ни на секунду. Он не может объяснить почему, но не верит. А не верит он потому, что его мозг умеет считать пропущенные наблюдения хуже, чем хотелось бы, но не настолько плохо, как вам кажется.
Кампанию, которую в итоге сняли, потом полтора года разбирали на конференциях, а на «Каннских львах» она, конечно, ничего не получила, потому что туда её никто и не подавал.
Она называлась «Просто выжить».
Восемь роликов. Те же реальные люди, тот же хронометраж, но снятые иначе и, главное, смонтированные иначе.
Мужчина с кофейней говорил, что первый год был отвратительный, что он дважды хотел всё бросить и что кофейня вышла в ноль только на четырнадцатый месяц. Пара из «Авроры» рассказывала, как ругались из-за ипотеки и как жена год не могла привыкнуть к району. Женщина после развода — что первые месяцы ей было страшно ночью одной и что она включала телевизор, просто чтобы был звук.
И в конце каждого ролика — одна и та же надпись:
Мы не знаем, как сложится у вас. Мы построим дом.
Юр-модерация заняла один день, потому что впервые за всю историю компании юристу нечего было вычёркивать. Елена Шер прочитала сценарии и сказала:
— Здесь нет ни одного обещания. Мне нечего делать.
— Это комплимент?
— Это диагноз отрасли, — сказала Шер.
- Ни одной истории успеха. Ни бизнеса, открытого после покупки, ни рождённых детей как результата переезда, ни «жизнь изменилась». Причинная связь между квартирой и судьбой — то, чего мы не можем доказать и не будем утверждать.
- Обязательная трудная часть. В каждом ролике герой называет, что было тяжело, и называет конкретно: срок, сумму, ссору, страх.
- Никакого преодоления. Не «он справился» — просто «так было». Финал ролика не победный.
- Отказавшиеся — тоже данные. Из четырёхсот двадцати звонков собрать и передать в аналитику причины отказов, включая продавших квартиру и вышедших из сделки. Не для съёмки — для нас.
- Единая финальная строка: «Мы не знаем, как сложится у вас. Мы построим дом». Изменению не подлежит.
- Запрещено: закадровый голос с интонацией уверенности, музыка с нарастанием, замедленная съёмка счастливых лиц.
Пункт четвёртый был единственным, ради которого Герман, если честно, всё и затеял.
Кампания вышла в ноябре и первые две недели вела себя странно: охваты нормальные, реакция вялая.
На третьей неделе её нашли зумеры.
Ролик про женщину, которая включала телевизор ради звука, разошёлся сам, без единого рубля посева, и разошёлся с подписями вроде «первая реклама, где мне не врут» и «застройщик сказал вслух то, что все знают». Финальную строку начали ставить мемом на всё подряд: «Мы не знаем, как сложится у вас. Мы построим дом» — под фотографиями котов, дипломов и разбитых машин.
К декабрю заявки выросли в два с половиной раза, а стоимость обращения упала так, что финансовый директор попросил перепроверить формулу.
ГЕНЕРАЛЬНЫЙ вызвал Германа и спросил только одно:
— Слушай, а почему у всех надо, чтобы красиво, а у нас работает, когда честно?
— Потому что у всех красиво, — сказал Герман. — Честного не осталось, вот оно и стало дефицитом.
ГЕНЕРАЛЬНЫЙ подумал.
— Так это ж тоже приём получается.
Герман не нашёлся что ответить, и это был первый случай за четыре года, когда ГЕНЕРАЛЬНЫЙ выиграл разговор.
Пункт четвёртый принёс свои плоды в феврале, и никакого удовольствия они не доставили.
Даша разобрала четыреста двадцать звонков и добавила к ним то, что запросила отдельно: данные по всем сделкам компании за четыре года. Не по продажам — по тому, что происходило после.
Отчёт был на девять страниц. Герман прочитал его дважды и попросил её прийти.
— Объясните мне первую таблицу, — сказал он.
— Это расторжения и продажи в первые восемнадцать месяцев после сделки, — сказала Даша. — Всего четыре целых одна десятая процента. По рынку это нормально, даже хорошо.
— Дальше.
— Дальше я разбила их по тому, как шла сделка. — Она наклонилась и провела пальцем по строке. — Вот тут — те, кто покупал обычно. Три и две. А вот тут — те, кто вышел на сделку в день, когда у него на экране был таймер обратного отсчёта и остаток в два лота.
Герман смотрел на число.
— Одиннадцать и шесть, — сказал он.
— Одиннадцать и шесть, — повторила Даша. — В три с половиной раза чаще. Я перепроверила четыре раза, вычистила инвесторов, вычистила тех, кто продал с прибылью. Осталось одиннадцать и шесть.
В кабинете было тихо.
— Это, — сказала Даша, — те самые самолёты, которые не вернулись. Мы четыре года считали только тех, кто дошёл до сделки. Мы ни разу не спросили, что было потом с теми, кого мы поторопили.
— Сколько это человек?
— Сто девяносто четыре, — сказала Даша. — За четыре года. Из них шестьдесят один продал квартиру дешевле, чем купил, с учётом уплаченных процентов.
Герман сидел, положив ладони на стол.
— Дайте мне список, — сказал он наконец.
— Зачем?
— Пока не знаю, — честно ответил он. — Но данные, которые не смотрят, — это те же дельфины. Дайте список.
Вечером он сидел в кабинете один и думал про свою собственную выборку.
Четыре года он объяснял всем в этой компании, что мозг покупателя устроен так-то и так-то, и приводил в доказательство результаты — продажи, конверсии, сроки. Все его выводы строились на людях, которые купили. Ни одного вывода — на людях, которые ушли; их он не изучал никогда, потому что они не приходили на вторую встречу и не попадали в отчёты.
Он был прекрасным исследователем спасённых дельфинами.
В тетради Даши в тот день появилась запись, которую она впервые показала ему сама, положив тетрадь на стол раскрытой:
Я четыре года записываю, как это работает. Ни строчки о том, на ком не сработало. Начинаю вторую тетрадь.
Ошибка выжившего: вывод строится по тем, кто попал в данные
Классический пример дал математик Абрахам Вальд во время Второй мировой. Военные изучали вернувшиеся самолёты и хотели усилить броню там, где было больше всего пробоин. Вальд указал на обратное: усиливать нужно места, где у вернувшихся машин пробоин нет, — самолёты с попаданиями именно туда не возвращались и в выборку не попали.
Механизм общий: когда наблюдения отбираются по результату, статистика описывает не явление, а фильтр. Истории успеха собираются среди тех, у кого получилось; отзывы пишут те, кто дошёл до конца; кейсы публикуют победители. Отсутствие данных о неудачах читается мозгом как отсутствие неудач, потому что оценка частоты опирается на лёгкость припоминания примеров.
Практическое следствие для застройщика: воронка обычно заканчивается сделкой, и всё, что происходит после, в отчётность не попадает. Между тем именно там лежат самые полезные цифры — доля расторжений и перепродаж в первые полтора года, разбитая по тому, как именно шла сделка. Если у сделок, закрытых под давлением срочности, этот показатель заметно выше, чем у обычных, — это не моральная претензия, а операционный сигнал: часть выручки взята в долг у собственной репутации.
Wald A. A Method of Estimating Plane Vulnerability Based on Damage of Survivors, 1943. Tversky A., Kahneman D. Availability: A heuristic for judging frequency and probability. Cognitive Psychology, 1973.