Эми Эдмонсон. Ошибаться- это норм. И как мы потеряли 3 миллиона за лето!

Эми Эдмонсон. Ошибаться- это норм. И как мы потеряли 3 миллиона за лето!

ОТличная книга про ошибки. Автор в ней делит все ошибки на 3 категории:

интеллектуальные неудачи, полезные и помогающие двигаться вперед при определенных условиях

комплексные неудачи, когда комплекс факторов вместе создают большую проблему, некий идеальный шторм

базовые неудачи, когда было ясно, как делать, но вы отклонились от регламента и не сделали. у таких неудач всегда только 1 причина.


Основная идея книги, что к интеллектуальным неудачам надо стремиться, базовые избегать через чеклисты и регламенты, а к комплексным неудачам готовиться.

Расскажу на примере Turbotarget, чем полезна книга.

В мае мы вышли на пик по выручке от динамического ретаргетинга, а потом все пошло плохо и все лето мы зарабатывали в 2 раза меньше, чем в мае каждый месяц. Когда мы поняли в чем дело, был сентябрь. Мы поняли, что из-за давления ML специалисты замешали наживую персональные рекомендации с общими и тем сломали весь продукт.

Наша история с мешаниной рекомендаций могла бы считаться интеллектуальной неудачей, если бы соответствовала 4 критериям, описанным в книге.

1) Новая территория. Мы в том месте где не знаем, как достигнуть рельтата. Тут все ок, мы были на новой территории.

2) Ценная возможность- понимание, что через этот эксперимент мы сможем получить крутой поворот, цифры которые ожидаем от эксперимента. Да, это была ценная возможность.

3) Предварительная подготовка была бы проведена.

4) Минимальные риски- мы должны были спланировать эксперимент так, чтобы снизить риски

5) Извлечение уроков.

Мы же ошиблись в 3х пунктах

🙅‍♂️ Мы не обозначили в цифры, которые хотим получить в рамках эксперимента, поэтому не поняли, когда поезд пошел под откос и надо дернуть стопкран

🙅‍♂️ Мы не провели подготовку предварительную, проведя АБ тест быстро и кажется не очень точно.

🙅‍♂️ Мы не поставили эксперимент с минимальными рисками, раскатив новые модели сразу на всех клиентов

Вот такие выводы я вижу если находиться на пункте 5 и думать об извлечении уроков.


Обсуждать ошибки- нормально и автор об этом говорит. Но когда ошибка повторяется дважды, она из интеллектуальной становится базовой или иначе просто глупой, и ее можно и нужно предотвращаться через регламенты, чеклисты и публичные обсуждения.

Поэтому мы сделали выводы и теперь эксперименты делаем совсем иначе.

#книгикоторыечитаю
моя оценка 9 из 10
#хорошаякнига