Метрики. Как узнать, что дизайн сработал

Расскажу:

1. Что такое метрики
2. Метрики здоровья продукта
3. Метрики качества дизайна
4. Как узнать из цифр, что дизайн сработал
5. Как работать с аналитикой
6. Что делать, если в продукте не тметрик
7. Как раскрыть метрики в портфолио

Что такое метрики

Это показатели для оценки работы как кусочка продукта, так и бизнеса. Прибыль, количество пользователей, денежный оборот и вот это вот всё. Можно и без них, но это сравнимо с походом по болоту ночью: какое-то время вывозить на везении и опыте, но однажды свернёте не туда и даже не узнаете.

Если покупатель тыкнул «купить» в интернет магазине, а мы это посчитали — это метрика добавления в корзину. Количество таких покупателей относительно всех, кто увидел кнопку, называется конверсией.

Часть покупателей, которые шли к товару с главной страницы отваливаются каждый шаг. График таких шагов называется воронкой. Воронка помогает находить слабые места в продукте.

Метрики здоровья

За здоровье продукта отвечают глобальные метрики, такие как количество людей в продукте, общий доход, доход с человека за месяц, стоимость привлечения клиента и т.д. У каждого продукта свои. За ними следят от квартала в квартал, их интересно показывать инвесторам и строить красивые графики. Метрики здоровья — показатель того как продукт живёт и развивается. Они же определяют верной ли дорогой двигается бизнес.

Дизайнеры не влияют на эти метрики напрямую, т.к. они показывают сумму усилий всей команды. На них влияют рекламные компании, выходные, праздники, катаклизмы. Если в продукт каждый день приходит всё больше людей, но они сразу уходят, то маркетинг привлекает отлично, но возможно не ту аудиторию или проблемы в самом продукте.

Когда проседает глобальная метрика, то для её улучшения придумывают целый комплекс изменений. Поднятие одной метрики может быть целью на год.

Допустим, Лупа и продаёт арбузы, а его брат Пупа рекламирует эти арбузы в Инстаграме. Лупе пришла продуктовая идея: буду давать посетителям пробовать кусочек арбуза перед продажей. За неделю продажи увеличились вдвое. Лупа молодец? А мы не знаем! Может Пупа привлёк всю эту аудиторию? Или известный тик-токер попробовал арбуз и снял ролик? Или продавец соседнего киоска заболел? Правильно было бы считать как изменилось число покупателей арбуза от всех посетителей киоска, ведь кусочек арбуза влияет на привлекательность самой покупки, а не привлечение.

Метрики качества дизайна

За качество фичи отвечают локальные метрики, такие как конверсия, глубина просмотра, время на странице и т. д. Они помогают понять, что конкретный дизайнер молодец и как сработало его решение. Для каждой задачи свои метрики, узнайте их у продакта.

В больших продуктах есть целое древо метрик, которое показывает как метрики влияют друг на друга. Глобальные (высокоуровневые) — это цель, а локальные (низкоуровневые) — это шаги. Цели ставит продакт оунер: поднять выручку до мая в 4 раза или увеличить количество постоянных посетителей втрое. Шаги определяет продакт, дизайнер и бизнес-аналитик: чтобы поднять выручку, нужно поднять конверсию, снизить чёрн (количество отписавшихся), сократить время от выбора до покупки и т.д.

Если хотите разобраться — прочтите статью «Продуктовые метрики: какие они бывают и как ими пользоваться?».

Вернёмся к арбузам. Чтобы поднять прибыль, нужно либо повышать количество проданных арбузов, либо снижать издержки: аренда, порченные арбузы, сотрудники, и т.д. А это уже разбивается на задачи. На количество проданных арбузов влияют:

1. Количество арбузов в одни руки
2. Конверсия в покупку арбуза (процент людей купивших арбуз в сравнении с теми, кто прошел мимо)
3. Вовлечение в процесс выбора арбуза
4. Количество недовольных людей, которым арбуз не вкатил и они хотят венруть деньги

Треш пример из практики: продакт решил увеличить количество регистраций в онлайн-магазине и решил показывать цены только зарегистрированным клиентам. Метрика выросла на 300%! Успех! Догадаетесь насколько просела выручка и через сколько часов ему прилетело?

Как узнать из цифр, что дизайн сработал

Изолировать метрики решения от внешних факторов. Представьте, что дизайнер написал в резюме, что сделал раздел скидок, благодаря которому увеличил на 20% прибыль. Он молодец? Брать на работу? Скорее нет, чем да, ведь точной взаимосвязи нет.

Лупа решил каждому покупателю арбуза предлагать бесплатно персик. Как итог — люди начали больше покупать персиков.

Плохо считать как выросла общая прибыль за месяц. Может, сейчас август и это самый прибыльный месяц для продажи фруктов?

Хорошо считать сколько дополнительно принесли денег именно покупатели персиков, которые им давали попробовать.

Если продакт хороший, он позаботится о том, чтобы разработчики внедрили нужные счётчики в фичу. Нет счётчиков — не ясен результат. Если вам не повезло, я расскажу что делать, если в продукте нет метрик далее.

Как дизайнеру работать с аналитикой

В идеале — никак. Это работа аналитика. Разбираться в метриках нужно, чтобы строить гипотезы на их основе, но копаться в данных — не ваша задача. О том, что делать, если нет аналитика — в следующей главе.

Дизайнер в паре с аналитиком превращаются в крепкую детективную команду проверки продуктовых гипотез. Представим ситуацию: дизайнер приходит к аналитику и говорит:

— У меня есть задача повысить конверсию в оформления заказа, что можешь сказать?
— 300 тысяч заходит в корзину, до оплаты доходят 5%

Вроде всё ясно, но что с этим делать? Как улучшать дизайн? Дизайнер начинает углубляться в шаги.

— Ага, вот у нас есть сама корзина, выбор адреса доставки и оплата, что там?
— Из корзины в оформление заходят всего 6%, на оплату идут аж 97% зашедших

О! Интересно. Кажется, что с оплатой всё в порядке, а вот если понять почему люди не оформляют, то можно получить неплохой прирост. Дизайнер загорается:

— А почему не оформляют заказ? Почему не указывают адрес?
— А я почём знаю? У меня только данные. Давай гипотезы — я проверю!

Шок! Трепет! Казалось, что аналитик принесёт все проблемы на блюдечке, а дизайнер придумает решение. Оказывается, что так не работает. Дизайнер уходит думать: общается с покупателями, сам проходит сценарий, обращается в саппорт. В результате приходит с пачкой гипотез. Но и тут разочарование — часть гипотез не проверяется: тут счётчика нет, тут мало трафика, а тут нужен полноценный А/Б тест.

И тут дизайнер объединяется с аналитиком в пару и начинают вместе разгадывать эту загадку: остаются только те гипотезы, которые можно проверить, дизайнер задаёт вопросы. Аналитику проще всего ответить на вопросы «откуда», «куда» и «как давно».

— Откуда приходят в корзину?
— 30% прямо с товара, остальные с главной
— А куда они потом уходят?
— Те, что пришли с товара обычно сразу в оформление, а те, кто с главной — уходят
— О как, значит большинство людей заходят в корзину, чтобы просто посмотреть?
— Ага
— Как долго лежат товары перед заказом?
— 20% товаров покупают в тот же день. Это 90% всех наших заказов
— Значит 80% товаров просто лежат в корзине и никто их не покупает?
— Да

Рождается инсайт, что покупатели складывают в корзину товары, которые им понравились, но они не собираются их покупать прямо сейчас. Рождается гипотезы:

• А что если сделать избранное?
• А что если подсовывать товары из корзины на главную?
• А если сделать отдельный раздел для старых товаров в самой корзине?
• А что если присылать уведомление, если на товар в корзине скидка?

Всё это превращается в задачи. Чтобы лучше разобраться о чём говорит аналитик, пройдите «Основы статистики и A/B-тестирования», это бесплатно.

Что делать, если в продукте нет метрик

Придётся всё делать самому. Если вам это не интересно — лучше найти компанию, где уже всё работает. Что делать:

Договориться в разрабами, чтобы они внедрили нужные счётчики, оценить насколько это дороже, защитить перед лицом, принимающим решение. Побыть продактом.

Брать метрики из исследований. Лучше всего — провести количественное исследование. Оттуда можно достать конверсию, воронку, скорость выполнения сценария, глубину скролла. Есть сервисы, где это можно провести бесплатно, например, Mase.

Мониторить отзывы. Что говорят люди после внедрения фичи? Стали ли меньше грузить поддержку?

Если и на исследования не выделяют ресурсы, то можно проводить их подпольно самому, но лучше уж поискать другую компанию. У меня был опыт внедрения исследований. Это заняло у меня почти год и было муторно. Оглядываясь назад, мне жаль потраченных сил.

Как раскрыть метрики в портфолио

Вычленить как повлиял именно кусочек дизайна на второстепенные метрики, а уже после как они повлияли на ключевые метрики.

Неправильно
Лупа придумал давать кусочек арбуза на пробу покупателям перед покупкой. Количество покупок выросло втрое и принесло бизнесу 100500 денег. Не ясно почему выросло количество покупок: стало больше людей? Маркетинг сработал или кусочек арбуза? Опытный продакт сразу это раскусит.

Правильно
Лупа придумал давать кусочек арбуза покупателям перед покупкой. Люди, которые пробовали кусочек арбуза, покупали на 28% чаще, чем те, кто не пробовал. Благодаря этому, общий процент продаж увеличился на 15%, что принесло бизнесу дополнительные 100500 денег. При этом другие метрики не упали: «дырявые» арбузы мы разрезали пополам и продавали тем, кто хочет половинки.