Продуктовая аналитика: от метрик до стратегии

Путь от новичка до эксперта на одном продукте: вы приходите аналитиком в стартап «Разминка» и дорастаете до руководителя продукта. Базовый уровень — метрики, retention и воронки. Продвинутый — когорты, прогноз аудитории, статистическая значимость, A/B-тесты, исследования пользователей, юнит-экономика, закупка трафика и ASO. Максимальный — гипотеза ценности, поиск ценности, рискованные гипотезы, каналы роста, целевой рынок и пивот. В каждом шаге — теория с примерами, задание и разбор с выводом.

Сложность
Для новичков
Заданий
217
Глав
26

Начать бесплатно

Программа

Базовый · Основы

  1. Глава 1. Базовые понятия

    Применять определения DAU и MAU, выбирать между средним и медианой, отличать корреляцию от причинно-следственной связи, считать проценты и процентные пункты, проверять, что данные отвечают на вопрос.

    Список заданий
    1. О главе
    2. MAU в первый месяц
    3. Средний DAU и MAU
    4. Среднее арифметическое
    5. Медиана
    6. Медиана и среднее: рост
    7. Медиана и среднее: покупки
    8. Медиана и среднее: оценки
    9. Корреляция и причина: напоминания
    10. Корреляция и причина: библиотеки
    11. Доля открытий
    12. Разница в процентных пунктах
    13. Разница в процентах
    14. Данные и вопрос
  2. Глава 2. Soft launch: первые метрики

    Считать DAU и новых пользователей по журналу событий, sticky factor и вовлечённость, удержание первого и седьмого дня; по этим метрикам решать, готов ли продукт к росту, и искать технические причины, прежде чем делать выводы об аудитории.

    Список заданий
    1. О главе
    2. DAU по журналу событий
    3. Новые пользователи
    4. Sticky factor
    5. Что значит sticky factor
    6. Тренировки на активного пользователя
    7. Удержание первого дня
    8. Удержание седьмого дня
    9. Готов ли продукт к росту
    10. Android против iOS
  3. Глава 3. Retention: удержание пользователей

    Различать классический, накопительный и интервальный retention и считать их для когорты, выбирать период удержания под частоту использования продукта, читать кривую удержания, исключать неполные когорты и понимать, как удержание складывается в активную аудиторию.

    Список заданий
    1. О главе
    2. Классический retention
    3. Накопительный retention
    4. Интервальный retention
    5. Какой retention что показывает
    6. Период удержания
    7. Кривая удержания
    8. Неполные когорты
    9. Retention и активная аудитория
    10. Одно определение для отчёта
  4. Глава 4. Метрики продукта и метрики роста

    Отличать метрики продукта от метрик роста, раскладывать объём на приток и конверсии, не путать рост аудитории с улучшением продукта, распознавать метрики тщеславия и выбирать метрику под решение.

    Список заданий
    1. О главе
    2. Метрики продукта и метрики роста
    3. MAU вырос втрое
    4. Реклама урезана — DAU упал
    5. Метрики тщеславия
    6. Метрика под решение
    7. Ключевая метрика продукта
  5. Глава 5. Воронки и конверсии

    Строить воронку ключевых шагов, считать конверсию шага и сквозную конверсию, учитывать окно конверсии, порядок шагов и незрелые когорты, находить проблемный шаг по сегментам и выбирать шаг для улучшения по влиянию на итог.

    Список заданий
    1. О главе
    2. Конверсия шага
    3. Сквозная конверсия
    4. Окно конверсии
    5. Свежие когорты в воронке
    6. Порядок шагов
    7. Воронка по платформам
    8. Какой шаг улучшать
    9. Одинаковые пункты — разный эффект

Продвинутый · От знаний к делу

  1. Глава 6. Рынок и конкуренты

    Оценивать скачивания и аудиторию конкурентов по публичным данным, работать с диапазонами и допущениями, сводить источники, наглядно сравнивать приложения и сегменты и выбирать сегмент для входа.

    Список заданий
    1. О главе
    2. Установки конкурента по числу оценок
    3. Когда источники расходятся
    4. Как показать 25 конкурентов
    5. Концентрация сегмента
    6. Какой сегмент выбрать
    7. Факты и допущения
  2. Глава 7. Публичный запуск и его результаты

    Оценивать запуск по когортам и сегментам, а не по общим средним, распознавать эффект смены состава аудитории и парадокс Симпсона, отличать разовый всплеск от устойчивого роста.

    Список заданий
    1. О главе
    2. Retention после запуска
    3. Что сломал запуск?
    4. Россия против Казахстана
    5. DAU/MAU после запуска
    6. Метрики «восстановились»
    7. Всплеск и новый уровень
    8. Итоги запуска для Артёма
  3. Глава 8. Прогноз активной аудитории

    Раскладывать активную аудиторию на слои когорт, считать DAU из притока новых пользователей и кривой удержания, находить плато аудитории, сравнивать вклад привлечения и удержания с учётом цены и длительности эффекта.

    Список заданий
    1. О главе
    2. DAU из слоёв когорт
    3. Плато аудитории
    4. Кривая с ядром
    5. Приток или удержание
    6. Когда реклама закончится
    7. Что оставит кампания
    8. Проверка прогноза
  4. Глава 9. Когортный анализ

    Читать когортную таблицу по строкам, столбцам и диагоналям, сравнивать когорты до и после изменения в одинаковом возрасте, различать эффекты возраста, когорты и календаря, учитывать незрелые когорты.

    Список заданий
    1. О главе
    2. Когортная таблица
    3. Провал по диагонали
    4. Эффект онбординга
    5. Почему дашборд не сдвинулся
    6. Строка ниже остальных
    7. Ранняя метрика
    8. Как оценить релиз честно
  5. Глава 10. Статистическая значимость

    Объяснять случайный разброс метрик, считать стандартную ошибку и доверительный интервал доли, сравнивать две конверсии z-тестом и интервалом разницы, правильно читать p-value, отличать статистическую значимость от практической пользы и учитывать множественные сравнения.

    Список заданий
    1. О главе
    2. Случайный разброс
    3. Стандартная ошибка доли
    4. Доверительный интервал
    5. Интервал для разницы
    6. z-тест и p-value
    7. Что значит p-value
    8. Та же разница, больше людей
    9. Значимо — ещё не значит выгодно
    10. Двадцать срезов
  6. Глава 11. Потенциал новой функции

    Описывать продукт моделью из ключевых шагов, оценивать охват, принятие и эффект функции, считать верхнюю границу её влияния на главную метрику, сравнивать идеи в одних единицах и дёшево проверять спрос до разработки.

    Список заданий
    1. О главе
    2. Охват функции
    3. Верхняя граница эффекта
    4. Сравнение с альтернативой
    5. Верхняя граница — не прогноз
    6. Эффект из наблюдений
    7. Проверить до разработки
  7. Глава 12. Странные цифры

    Расследовать аномалии в метриках по шагам: проверять полноту и корректность данных, сравнивать с правильной базой, раскладывать изменение по сегментам, сверять связанные метрики и сообщать выводы с уровнем уверенности.

    Список заданий
    1. О главе
    2. С чего начать
    3. С чем сравнивать
    4. Вклад новых пользователей
    5. Где падение
    6. Связанные метрики
    7. Письмо Артёму
  8. Глава 13. Эксперименты и A/B-тесты

    Отличать гипотезы от фактов, формулировать проверяемую гипотезу, проектировать A/B-тест (единица рандомизации, основная и защитные метрики, размер выборки и длительность), не подглядывать, проверять SRM и корректно интерпретировать итог, в том числе незначимый.

    Список заданий
    1. О главе
    2. Почему не «до и после»
    3. Проверяемая гипотеза
    4. Кого и как делить на группы
    5. Основная и защитные метрики
    6. Сколько людей нужно для теста
    7. Сколько дней набирать участников
    8. Подглядывание
    9. Перекос в группах (SRM)
    10. Незначимо — не значит «нет эффекта»
    11. Неожиданный результат
  9. Глава 14. Почему? Качественные исследования

    Выбирать качественный метод под вопрос, набирать участников интервью, спрашивать о прошлом опыте без подсказок, проводить юзабилити-тесты, находить искажения в опросах и проверять выводы интервью количественными данными.

    Список заданий
    1. О главе
    2. Метод под вопрос
    3. Кого звать на интервью
    4. Лучший вопрос
    5. Переписать вопросы
    6. Юзабилити-тест
    7. От интервью к решению
    8. Черновик опроса
  10. Глава 15. ROI и юнит-экономика

    Считать ARPU, ARPPU, LTV, CAC и ROI кампании по доходу её когорты после комиссии магазина, находить срок окупаемости, выбирать горизонт расчёта и сравнивать каналы по экономике, а не по числу и цене установок.

    Список заданий
    1. О главе
    2. ROI кампании
    3. ARPPU когорты
    4. ARPPU вырос — а ARPU?
    5. Когда кампания окупилась
    6. LTV и CAC
    7. Дешёвые установки
    8. ROI 30-го дня и годовая подписка
    9. Какие кампании масштабировать
  11. Глава 16. Покупка трафика

    Понимать устройство рекламного аукциона и модели оплаты, считать CPI через CPM, CTR и конверсию, проводить тестовые закупки, выводить допустимую цену установки из LTV, учитывать рост цены при масштабировании и проверять инкрементальность каналов.

    Список заданий
    1. О главе
    2. CPI из воронки показов
    3. Кто выиграет показ
    4. Два креатива
    5. Что мерить в тестовой закупке
    6. Допустимая цена установки
    7. Цена дополнительных установок
    8. Реклама по своему названию
    9. Куда вложить бюджет
  12. Глава 17. ASO: поиск в магазинах приложений

    Выбирать поисковые запросы по релевантности, частотности и конкуренции, размещать ключевые слова в метаданных App Store и Google Play, оценивать трафик из поиска и конверсию страницы приложения и проверять эффект изменений.

    Список заданий
    1. О главе
    2. Какой запрос выбрать
    3. Поле ключевых слов
    4. Сколько установок даст позиция
    5. Позиция или конверсия страницы
    6. Сработало ли обновление

Максимальный · Экспертный уровень

  1. Глава 18. Гипотеза ценности и модель продукта

    Формулировать гипотезу ценности — для кого, какую задачу решает продукт и чем он лучше альтернатив, — связывать её с измеримым поведением и заранее заданным порогом, проверять, сходятся ли в модели продукта ценность, рост и монетизация, и находить её слабое звено.

    Список заданий
    1. О главе
    2. Проверяемая гипотеза ценности
    3. С чем сравнивают ценность
    4. План проверки гипотезы
    5. Гипотеза ценности для новичков
    6. Сходится ли модель продукта
    7. Слабое звено модели
  2. Глава 19. Поиск ценности

    Искать ценность продукта в реальном поведении пользователей: сегментировать их по тому, как они пользуются продуктом, находить сегменты с сильным удержанием, формулировать их задачу по Jobs to be Done, проверять сигнал тестом Шона Эллиса и отличать корреляцию от причины.

    Список заданий
    1. О главе
    2. Урок WeChat
    3. Где прячется ценность
    4. Скрытое ядро продукта
    5. Сделать короткими все тренировки?
    6. Сигнал из отзывов
    7. Работа, которую выполняет продукт
    8. Тест Шона Эллиса по сегментам
    9. Записка о найденной ценности
  3. Глава 20. Отстройка от найденной ценности

    Перестраивать продукт вокруг найденной ценности: сокращать время до неё, убирать отвлекающее, менять позиционирование под задачу сегмента, считать результат в удержанных пользователях, а не в установках, и оценивать перестройку на новых когортах и в A/B-тестах.

    Список заданий
    1. О главе
    2. Онбординг под главный сценарий
    3. Что спрятать и что убрать
    4. Подзаголовок в App Store
    5. Меньше установок — больше пользы
    6. Сработала ли перестройка
  4. Глава 21. Самая рискованная гипотеза

    Раскладывать идею на допущения о ценности, росте, монетизации и реализуемости, ранжировать их по неопределённости и цене ошибки, выбирать самую дешёвую надёжную проверку, заранее задавать порог успеха и по итогам выбирать следующее допущение.

    Список заданий
    1. О главе
    2. Карта допущений: чего не хватает
    3. Самое рискованное допущение
    4. Самая дешёвая надёжная проверка
    5. Разбор провала: проверили не то
    6. Результаты пилота
    7. Какое допущение проверять дальше
    8. План проверки следующего допущения
  5. Глава 22. Гипотеза роста и каналы

    Разбирать истории роста реальных продуктов, формулировать гипотезу роста, подбирать каналы под экономику и аудиторию продукта, считать допустимую стоимость привлечения и приоритизировать идеи по ICE с учётом его ограничений.

    Список заданий
    1. О главе
    2. Как Chrome захватывал рынок браузеров
    3. Каналы и экономика клиента
    4. С какого размера компании окупаются продажи
    5. Вирусность: уроки Hotmail и Dropbox
    6. Приоритизация идей по ICE
    7. Где ICE обманывает
    8. Гипотеза роста «Разминки для команд»
  6. Глава 23. Целевой рынок

    Оценивать объём рынка снизу вверх и сверху вниз (TAM, SAM, SOM), выводить достижимую долю из каналов и мощности продаж, находить прямых и косвенных конкурентов, учитывать динамику рынка и сверять оценки между собой.

    Список заданий
    1. О главе
    2. Объём рынка снизу вверх
    3. Достижимая доля: SOM
    4. Почему «возьмём 1 % рынка» — не оценка
    5. Прямые и косвенные конкуренты
    6. Динамика рынка: офис и гибрид
    7. Две оценки рынка не сходятся
  7. Глава 24. Шаг веры

    Считать запас хода по чистым расходам с учётом разовых трат, сводить данные о ценности, росте и экономике в одно решение, сравнивать варианты стратегии, включая пивот, и записывать решение с критериями пересмотра.

    Список заданий
    1. О главе
    2. Запас хода
    3. Сколько времени покупают сокращения
    4. Три варианта: какой выбрать
    5. Что меняет пивот, а что сохраняет
    6. Критерии пересмотра
    7. Записка о решении
  8. Глава 25. Расследование

    Расследовать неожиданные результаты всеми методами курса: проверять определения и данные, мерить продукт в его естественном ритме, сегментировать, отличать корреляцию от причины, учитывать размер выборки и формулировать выводы с уровнем уверенности.

    Список заданий
    1. О главе
    2. Удержание упало вдвое: с чего начать
    3. Удержание тех, кто начал
    4. Пятничные новички
    5. Одна компания — 45 % активности
    6. Чемпионы: причина или совпадение
    7. Продления: 6 из 10 против 3 из 8
    8. Отчёт с уровнем уверенности
  9. Глава 26. Итоговый кейс

    Применять весь набор навыков курса в одном кейсе — от определений метрик, когорт и воронок до экспериментов, юнит-экономики и стратегии, — проверять чужие выводы и защищать свои данными в записке для инвесторов.

    Список заданий
    1. О главе
    2. Проверка отчёта Никиты
    3. Удержание компаний
    4. Воронка продаж: два варианта
    5. A/B-тест первого экрана
    6. Экономика клиента
    7. Декабрьский скачок выручки
    8. Сегмент на следующий год
    9. Аналитическая записка для инвесторов