Карта — не территория

Суть метода

На дорожной карте есть дороги, но нет ям. По ней можно проложить маршрут, но нельзя узнать, открыта ли дорога сегодня.

В бизнесе карта — это упрощённая замена чего-то большего: показатель, модель, ярлык, прогноз, рассказ о кейсе. Каждая такая карта сохраняет несколько черт настоящего предмета, а остальное отбрасывает. Пользуясь методом, вы называете отброшенное и спрашиваете себя, меняет ли оно решение. Карты нужны любому решению, поэтому вы от них не отказываетесь. Вы только проверяете, насколько им можно верить.

Откуда он взялся

Выражение принадлежит Альфреду Коржибски (1879–1950), американскому писателю польского происхождения. Он изучал, как слова соотносятся с фактами. 28 декабря 1931 года Коржибски выступил с докладом перед Американским математическим обществом. Выступление прошло в Новом Орлеане, на съезде Американской ассоциации содействия развитию науки. Доклад назывался «A Non-Aristotelian System and its Necessity for Rigour in Mathematics and Physics». В 1933 году Коржибски перепечатал его как приложение III к своей книге Science and Sanity. В докладе четыре пронумерованных пункта, и третий из них — одна короткая фраза: «Карта — не территория».

В его примере Париж, Дрезден и Варшава лежат с запада на восток именно в таком порядке. Теперь нарисуем карту, на которой они идут так: Дрезден, Париж, Варшава. Путешествие по такой карте, писал Коржибски, «сбивало бы с пути и отнимало силы впустую». А в чрезвычайных обстоятельствах оно «могло бы причинить серьёзный вред».

Первый пункт у него не менее важен: карта может повторять строение территории, например порядок городов, а может и не повторять. Хорошая карта полезна тем, что верное на бумаге верно и на местности.

Какую ошибку он исправляет

В сводке показателей видно, что число пользователей, активных за неделю, выросло на 9%. Внимательный менеджер проверяет расчёт и решает, что продуктом стали пользоваться больше. Но в этой цифре учтены лишь те, кто за неделю вернулся хотя бы раз. Что они делали, по ней не видно.

Аналитик рассчитывает цифру для одной задачи, и там она работает. Потом ею начинают решать другой вопрос. Лень тут ни при чём. Беда в том, как цифру передают дальше. Аналитик знает её ограничения, а участники следующего совещания — нет.

Старание здесь не поможет: его тратят на проверку самой карты. Проверяющие спрашивают, верен ли запрос к базе данных, работает ли модель, сходятся ли суммы на слайде. Выяснять, что цифра упускает, никому не поручено. И чем дольше карта служила исправно, тем реже кто-нибудь об этом спрашивает.

Как применять

1. Назовите карту, на которой держится ваш довод: показатель, модель, ярлык, прогноз или рассказ.
2. Скажите, что она измеряет напрямую, а что лишь заменяет.
3. Перечислите, что она упускает, и отметьте то, что может изменить это решение.
4. Сверьте карту с территорией: посмотрите сами, найдите показатель, который может с ней разойтись, или проверьте необычный случай.
5. Скажите, насколько большим должен быть разрыв, чтобы вы решили иначе. Потом решайте.

Разобранный пример

Сервис Google Flu Trends оценивал, сколько людей в США болеют гриппом, по запросам в Google. Его создатели перебрали 50 млн поисковых запросов. Они оставили те, что лучше всего совпадали с 1 152 еженедельными цифрами CDC. Это Центры по контролю и профилактике заболеваний, американское ведомство здравоохранения.

Карта работала, а потом начала ошибаться. В 2009 году сервис целиком пропустил пандемию H1N1: этот грипп пришёл не в сезон. Модель научилась узнавать скорее зиму, чем грипп. В феврале 2013 года журнал Nature сообщил, что сервис сильно ошибается. Долю обращений к врачу с гриппоподобными болезнями он завышал по сравнению с CDC больше чем вдвое. Затем его проверили четверо исследователей: Лейзер, Кеннеди, Кинг и Веспиньяни. С 21 августа 2011 года по 1 сентября 2013 года сервис завышал оценку 100 недель из 108. Сезон 2011–2012 годов он переоценил больше чем на 50%.

Самое полезное в этой истории — поправка. Те же исследователи взяли данные самих CDC, которые запаздывали на две-три недели. И всё же прогноз по этим данным описывал текущую заболеваемость точнее, чем поисковая модель. Его средняя абсолютная ошибка, то есть средний размер промаха, составила 0,311. У поисковой модели — 0,486. Прогноз, объединивший оба источника, оказался точнее каждого: 0,232. В запросах был настоящий сигнал. Но надёжным он стал, только когда его привязали к прямому подсчёту заболевших.

В кейсах Business Case Weekly

В кейсе о Tether компания уверяла держателей своих токенов, что за каждым из них стоит доллар. На развилке 2018–2021 годов вы входите в совет директоров. Теперь в резервах есть дебиторская задолженность, то есть деньги, которые компании должны другие, и прочие неденежные активы.

Слова «обеспечен один к одному» — карта того, может ли компания расплатиться. Чтобы увидеть территорию, задайте пять вопросов. Насколько надёжны активы? Когда они превратятся в деньги? Кто их хранит? Не лежит ли слишком много в одном месте? Как быстро держатели могут забрать свои деньги?

Выпишите эти пять пунктов, прежде чем сравнивать варианты. Можно остановить выпуск токенов, сообщить о расхождении или и дальше публиковать подтверждения, то есть отчёты бухгалтеров о резервах. Скажите, какой из пяти пунктов изменил бы ваш ответ. Выбирать всё равно вам.

В вашем ответе

• «Цифра здесь — X. Она заменяет Y и не показывает Z»
• «Упущено …, и это может изменить решение, если окажется не меньше …»
• «Прежде чем принять цифру за сам бизнес, я сверил бы её с …: это данные с территории, не из модели»
• «Для решения о … эта карта достаточно точна, а для решения о … — нет»

Типичная ошибка применения

Подделка метода — фраза статистика Джорджа Бокса «все модели неверны». Она звучит скромно. Но в ней не названо ни одного упущения, и рекомендация остаётся прежней. Задайте себе один вопрос: изменилось ли после этой фразы что-нибудь в ваших данных или в вашей уверенности? Назовите, что упущено, на какое решение это влияет и как вы это проверите. Если не можете, вы просто процитировали Бокса.

Обратная ошибка — отвергать карту, которой достаточно. Если модель упускает то, что для этого решения неважно, чинить её не нужно. Сказать так — тоже ответ.

Источники

• Альфред Коржибски, Science and Sanity: An Introduction to Non-Aristotelian Systems and General Semantics (1933), первое издание в Internet Archive. Доклад 1931 года напечатан там как приложение III.
• Дэвид Лейзер, Райан Кеннеди, Гэри Кинг и Алессандро Веспиньяни, «The Parable of Google Flu: Traps in Big Data Analysis», Science 343 (14 марта 2014 года), 1203–1205, открытая копия в репозитории DASH Гарвардского университета. Статья в три страницы; все цифры выше взяты из неё.
• Институт общей семантики, «Alfred Korzybski» — биография Коржибски с датой доклада 1931 года.