Благоприятная и коварная среда обучения

Суть метода

Вспомните, как учатся играть в дартс. Вы бросаете дротик, сразу видите, куда он попал, делаете поправку и бросаете снова. Одно и то же действие повторяется. Результат приходит быстро и ясно, и видно, какой бросок к нему привёл. Это благоприятная среда обучения. А теперь представьте, что вы покупаете компании. За всю карьеру это случается несколько раз. Каждый результат приходит через годы, и к нему примешана удача. Это среда коварная. Коварна она и тогда, когда вы видите результаты только тех вариантов, которые сами выбрали раньше.

Прежде чем доверять результату, спросите, в какой среде он получен, а значит, многому ли он может научить.

Откуда он взялся

Робин Хогарт — психолог. С 1983 по 1993 год он руководил Центром исследований принятия решений Чикагского университета. В книге Educating Intuition (2001) он задался вопросом: когда опыт даёт интуицию, которой можно доверять? Ответ Хогарта: всё зависит от среды. Если вы много раз решаете похожие задачи и быстро и точно узнаёте, правы ли вы, появляется настоящее умение. Если вы узнаёте это медленно, неточно или не узнаёте вовсе, появляется только уверенность.

В 2015 году Хогарт и двое его коллег, Томас Лехаррага и Эмре Сойер, уточнили идею. Среда благоприятна, писали они, когда вы учитесь на тех же сведениях, которые понадобятся вам, когда придётся действовать. Позже Сойер и Хогарт написали для широкого читателя книгу The Myth of Experience (PublicAffairs, 2020). Слова kind и wicked принесла в деловую литературу книга Дэвида Эпштейна Range (2019). Там их сейчас и встречает большинство читателей. Но сама идея принадлежит Хогарту.

Какую ошибку он исправляет

Банк отказывает в кредите и так и не узнаёт, вернул бы человек деньги или нет. Компания отказывается от сделки и так и не узнаёт, сколько бы та принесла.

Хорошая команда изучает свои результаты, пересматривает взгляды и повторяет то, что сработало. В благоприятной среде так и надо. А в коварной команда видит мало результатов и видит их поздно. К тому же она видит результаты только тех вариантов, которые сама выбрала. Старание здесь не поможет. Команда проверяет данные, которые пришли, а не хватает как раз тех, что так и не пришли. Чем внимательнее она изучает эти однобокие данные, тем твёрже верит в ошибочный вывод. В конце концов урок становится правилом, с которым никто в комнате не может спорить: все видели, как оно сработало.

Как применять

1. Запишите, что должен доказать этот результат.
2. Назовите обратную связь, которая проверила бы это утверждение, и когда она придёт.
3. Спросите себя, повторяется ли это решение в похожих условиях или принимается только один раз.
4. Перечислите, чего по результату не различить: везение, момент, когда всё случилось, отбор случаев заранее и ваше влияние.
5. Сделайте обратную связь быстрее и яснее. Возьмите уменьшенную версию, которую можно повторять, более ранний шаг, который можно измерить, или прогноз, записанный до результата. И назначьте дату, когда подведёте итог.

Разобранный пример

Команда Bing, поисковика Microsoft, намеренно изменила свою среду обучения. Ронни Кохави руководил системой, на которой Bing проводил эксперименты. В августе 2013 года он писал, что «в обычный день на Bing идёт больше 250 экспериментов». И добавлял: «когда идеи объективно оценивают в контролируемом эксперименте, меньше трети из них сдвигают показатели, ради улучшения которых их придумали». В таком эксперименте одни пользователи видят изменение, а другие нет.

До таких проверок менеджеры оценивали идеи в коварной среде. Когда выходила новая функция, никто не мог понять, как она повлияла на выручку. Мешали сезон, конкуренты и все остальные изменения той же недели. Поэтому никто так и не узнал, кто правильнее оценивал идеи.

Вот во что это обходилось. Сотрудник предложил удлинить заголовки рекламных объявлений: присоединять к заголовку первую строку текста под ним. Руководители программ оценили идею невысоко, и больше полугода за неё никто не брался. Потом один инженер проверил её контролируемым экспериментом. Выручка выросла на 12%. Кохави и Стефан Томке написали об этом в Harvard Business Review. По их оценке, это больше $100 млн в год в одних только США.

Изменилась среда. Теперь команда за несколько дней узнавала, что дала каждая идея. Оценки, которые казались надёжными, наконец можно было проверить. Большинство идей не сдвигало того, ради чего их придумали. А идея, которую менеджеры оценили невысоко, прибавила к выручке 12%.

В кейсах Business Case Weekly

В кейсе Y Combinator акселератор финансирует стартапы наборами. В зимнем наборе 2022 года он поддержал около 400 компаний. Потом он сократил следующий набор на 40%, до 250. Инвесторы его фондов спрашивали, не пострадало ли качество от того, что наборы стали больше.

Этим методом на их вопрос не ответить. Вместо этого спросите, какие данные вообще могли бы ответить инвесторам. Настоящие итоги набора видны только почти через десять лет. По данным кейса, на четыре компании приходится больше 84% биржевой стоимости, которую создал Y Combinator. Значит, все его успехи держатся на четырёх компаниях. К тому же компаниям, которые отобрал Y Combinator, легче привлечь деньги благодаря его имени. Так что выбор Y Combinator отчасти сам обеспечивает им успех.

Единорогами, то есть стартапами стоимостью больше $1 млрд, стали 4,5% его компаний. Но их отбирали двадцать лет, и по ним нельзя судить о том, как удачно акселератор выбирает в этом году. На развилке назовите более ранние измерения, которые можно повторять, чтобы ещё до 2030 года увидеть, меняется ли качество наборов.

В вашем ответе

• «Этот результат говорит в пользу …, но его не отделить от момента, когда всё случилось, или от отбора, потому что …»
• «Первая обратная связь, которая проверит утверждение, — …, и придёт она к …»
• «Это решение принимается один раз, поэтому, не дожидаясь исхода, я проверю его уменьшенную версию, которую можно повторять: …»
• «Прогноз записываю сейчас (…), чтобы … сверить с ним итог»

Типичная ошибка применения

Первая ошибка — остановиться на ярлыке. Кто-то пишет «это коварная среда», решает, что знать здесь ничего нельзя, и оставляет план таким, каким он был. Это ничего не стоит и ничего не меняет.

Противоположная ошибка — назвать среду благоприятной, потому что какое-то число быстро меняется. Но это число может измерять не итог решения, а что-то другое. Например, клики вместо клиентов, которые остаются, или подписанные договоры вместо выручки.

Проверить себя на обе ошибки можно одинаково. Назовите измерение, дату и результат, который изменит ваши действия. Если ваш диагноз не привёл к такой строке, метод вы не применили.

Источники

• Robin M. Hogarth, Educating Intuition (University of Chicago Press, 2001). Здесь идея изложена впервые.
• Robin M. Hogarth, Tomás Lejarraga и Emre Soyer, «The Two Settings of Kind and Wicked Learning Environments», Current Directions in Psychological Science 24(5), 2015, с. 379–385. Более поздняя и более точная версия.
• Ronny Kohavi, «Large Scale Experimentation at Bing», Bing Search Quality Insights, 8 августа 2013 года. Источник цифр, приведённых выше; пятнадцать минут чтения.
• Ron Kohavi и Stefan Thomke, «The Surprising Power of Online Experiments», Harvard Business Review, сентябрь–октябрь 2017 года. Главный эксперимент целиком и то, как компании сделать обратную связь быстрее и яснее.