Как измерять дизайн-долг

В этой части о дизайн-долге автор ссылается на информацию из статьи «Что такое дизайн-долг и почему он возникает». Для лучшего понимания контекста имеет смысл ознакомиться с ней прежде, чем приступать к чтению данного материла.

В этой статье автор рассматривает тему измерения дизайн-долга. Она рассказывает о качественных и количественных методах и поделится собственным опытом их применения на практике. Информация будет полезна тем, кто столкнулся с проблемой погашения дизайн-долга в организации или хочет заручиться поддержкой команды и заинтересованных сторон компании для того, чтобы начать действовать в этом направлении. Приятного чтения!

Каждый продукт, сознательно или нет, начинается с дизайна. Именно тогда возникает эффект домино как из хороших, так и из плохих событий.

Почему необходимо измерять дизайн-долг

Измерение дизайн-долга требует значительных ресурсов. Кроме того, чтобы разбираться в контексте, задавать правильное направление и достигать желаемых результатов, этот процесс должен быть непрерывным. Естественно возникает вопрос: зачем прилагать столько усилий? Ниже мы рассмотрим основные причины, которые объясняют необходимость измерения дизайн-долга.

Определение точки отсчета

Общее понимание сути дизайн-долга и выяснение того, какой его объем накопила организация за продолжительный период времени, необходимо для принятия решения в данный конкретный момент и объективной оценки любых инициатив в будущем.

Понимание того, где находится ваша компания в настоящее время, является хорошим первым шагом для постановки целей и принятия мер.

Оценка влияния дизайн-долга на бизнес

Удовлетворенность клиентов, темпы внедрения новых функций и скорость работы команды оказывают большое влияние на бизнес. Все это может быть подвержено воздействию дизайн-долга. Его измерение и установление четкой связи между (не очень ощутимым) долгом и (очень ощутимыми) жалобами клиентов или упущенной выгодой даст вашей команде четкое понимание проблемы.

Осознание влияния дизайн-долга на корпоративную культуру и людей

Дизайн-долг может оказывать негативное влияние на моральный дух вашей команды. Профессионалы впадают в уныние, если не имеют возможности решать важные задачи. Когда внесение незначительных изменений требует непропорционально больших усилий, а результаты оказываются посредственными, члены команды могут быстро выгореть. Связь этих симптомов с дизайн-долгом может иметь значение для выстраивания правильной системы процессов.

Оценка срочности

При планировании необходимо критически и честно оценить баланс между ресурсами, которые требуются для погашения дизайн-долга и для других направлений деятельности, таких как разработка новых и усовершенствование существующих функций, инвестирование в новые технологии и т.д.

Погашение дизайн-долга всегда имеет большое значение именно в долгосрочной перспективе.

При краткосрочном планировании принимайте во внимание все обстоятельства и ищите компромиссы.

Составьте список всех работ, которые не будут выполнены из-за погашения дизайн-долга, и оцените, как это повлияет на достижение целей компании. Возможно, вам придется скорректировать объем работ, связанных с погашением долга, чтобы иметь возможность реализовать срочные проекты.

Отслеживание прогресса

Важно регулярно проверять, двигаетесь ли вы в правильном направлении и действительно ли ваши усилия помогают компании идти вперед. Систематическое измерение дизайн-долга предоставит полную картину того, как его погашение влияет на продукт и организацию.

Вам необходимо оценивать, насколько положительное воздействие от погашения дизайн-долга на продукт и организацию соответствует тому, которое было изначально запланировано.

Если этот эффект не совпадает с прогнозами, то это сигнализирует о том, что необходимо внести изменения.

Определение приемлемого уровня дизайн-долга

Измерение дизайн-долга в течение продолжительного периода времени позволяет понять, какой его уровень является приемлемым для вашей организации. Важно следить за тем:

• какой объем дизайн-долга не нарушает рабочие процессы
• когда ваша команда чувствует себя комфортно

Это поможет принять решение о том, с каким количеством дизайн-долга можно смириться и осознанно погашать его в будущем.

Как измерить дизайн-долг

Считывание тревожных сигналов, сбор данных, их анализ за определенные периоды времени и нахождение допустимых пределов дизайн-долга необходимы для того, чтобы правильно его оценить. Этот процесс требует проведения экспериментов и накопления релевантного опыта. Он также является уникальным для каждого отдельного продукта и организации.

Автор выделяет качественные и количественные методы измерения дизайн-долга. Они одинаково важны, но используются для достижения разных целей:

• Качественные методы позволяют понять первопричину долга и разобраться в контексте
• Количественные методы используют для отслеживания прогресса и расчета уровня влияния долга на продукт и компанию

Качественные методы измерения дизайн-долга

Они основаны на сборе нечисловой информации, которая позволяет:

• Получить общее представление о размере дизайн-долга и вызванных им проблемах
• Найти источники проблем
• Выявить и исследовать возникающие закономерности

Поскольку понятие дизайн-долга является в некоторой степени эфемерным, качественные методы должны стать отправной точкой и иметь самый высокий приоритет при его измерении.

Наиболее эффективные методы качественного измерения дизайн-долга различаются в зависимости от типа дизайн-долга.

UX дизайн-долг

Этот тип долга напрямую связан с бизнес-целями, поскольку влияет на скорость внедрения новых функций, очевидность принципов взаимодействия с продуктом и общую удовлетворенность клиентов.

Метод: сбор первичных и вторичных отзывов пользователей

Юзабилити-тестирование

Выявление дизайн-долга должно быть вторичной целью всех сессий юзабилити-исследования. Помимо проверки того, как работает дизайн, регулярно тестируйте основные пути пользователей как с новыми, так и с существующими клиентами. Это позволит выявить те области продукта, которые содержат большой дизайн-долг.

При проведении юзабилити-тестирования конкретного процесса, обращайте внимание на отзывы о других составляющих продукта. Отмечайте все мелкие проблемы и обращайте пристальное внимание на общее впечатления участников тестирования.

Если пользователи сами, без наводящих вопросов, рассказывают о проблемах в сопутствующих областях продукта, это ценная информация!

Чтобы не запутаться, при получении данных о дополнительных проблемах каталогизируйте их, делитесь ими с коллегами и обсуждайте внутри команды. По возможности указывайте то, как связаны возникающие проблемы с текущими вопросами и проектами.

Такие инструменты, как GitHub или Productboard, помогут хранить результаты юзабилити-тестов и расставлять приоритеты для проблем в зависимости от степени их значимости. Главное — обеспечить их видимость для членов команды, особенно для других дизайнеров и продакт-менеджеров.

Сотрудничество с другими отделами

Чтобы собрать больше информации, попросите службу поддержки клиентов передавать вам повторяющиеся отзывы, поговорите с отделом продаж о том, что больше всего интересует пользователей и какие факторы нарушают их привычные процессы взаимодействия с продуктом. Обратитесь в отдел сервисного обслуживания потребителей, чтобы узнать о том, как быстро люди осваивают процессы взаимодействия с продуктом и каковы их запросы в отношении его функций. Эти знания, в сочетании с другими методами получения обратной связи, позволят вам увидеть полную картину UX дизайн-долга.

*Более подробно о UX-долге и его измерении читайте в статье Лорана Грима A practical guide to solving product debt.

Визуальный дизайн-долг

Анализ несоответствий в визуальной части продукта требует усилий со стороны нескольких команд. Это позволит получить наиболее полные и достоверные результаты.

Метод: оценка дизайна и разработки, подозрительные сигналы от пользователей

Визуальная оценка

Отслеживание визуальных несоответствий лучше всего удается людям, которые хорошо знакомы с продуктом.

При анализе визуальных несоответствий дизайнерам и разработчикам следует работать сообща. В результате необходимо составить полный отчет и использовать его для расстановки приоритетов. В первую очередь сосредоточьтесь на самых проблемных областях, которые оказывают наибольшее воздействие на продукт. Постоянно обновляйте отчет, чтобы оценивать объем визуального дизайн-долга во времени и отслеживать ход работ в этом направлении.

Внешняя обратная связь

Вы можете сопоставить отчет команд с внешней обратной связью: отзывами от существующих и потенциальных пользователей, которые можно получить во время общения с ними и проведения юзабилити-тестирований. Обратите внимание на такие фразы, как: «Это … не похоже на ваш продукт» «Это … старая версия, верно?» «Это … кажется устаревшим, вы все еще поддерживаете его?»

За этими предложениями обычно следуют: «Трудно сказать, в чем именно проблема, но тут что-то не так…», поскольку большинство пользователей затрудняются назвать или описать визуальные несоответствия.

На основе информации из обоих источников (внутренний визуальный анализ и внешняя обратная связь) вы получите представление о том, какие области действительно требуют пристального внимания со стороны вашей команды.

Операционный дизайн-долг

Для понимания недостатков базовой организационной структуры и процессов необходимо прислушиваться к членам своей команды. Важно собирать отзывы о том, как работают дизайн-процессы в компании и, если вы руководитель, встречаться с подчиненными «один на один» и отмечать важные детали, полученные в процессе общения.

Метод: опросы, интервью, встречи «один на один»

Опросы для оценки уровня удовлетворенности команды

Это обычная практика во многих организациях. Как правило, сотрудникам нужно оценить то, насколько их устраивает собственное финансовое состояние, возможности для профессионального роста, взаимоотношения в команде и корпоративная культура. Общие опросы являются хорошим источником информации о том, как чувствуют себя работники в компании. Но они не являются достаточно конкретными для того, чтобы должным образом измерить операционный дизайн-долг.

Для получения более релевантной информации необходимо добавить в анкету следующие вопросы: 

За последние … месяцев были ли вы в состоянии работать в полную силу? (Шкала 1-5)

Какие основные препятствия в вашей повседневной работе мешают вам выполнять свои обязанности наилучшим образом?

Если бы вы могли изменить что-то в рабочих процессах, что бы вы сделали?

Ответы на вопрос о препятствиях в ежедневной работе раскрывают проблемы, с которыми сталкиваются сотрудники. Оценка способности выполнять работу наилучшим образом показывает, насколько серьезными являются эти проблемы. Третий вопрос позволяет получить информацию о процессах. Ответы на него укажут и на проблемы, и на потенциальные решения. Их можно рассматривать в качестве предложений при формировании стратегии погашения операционного дизайн-долга.

Автор рекомендует оставить второй и третий вопросы полностью открытыми. Предложение нескольких ответов или примеров на выбор будет избыточной подсказкой.

После анализа ответов:

• составьте список проблем, связанных с наличием операционного долга, оцените их серьезность и масштаб
• добавьте решения, которые предложила команда

Все вышеперечисленное должно быть представлено в двух контекстах: внутреннем — для команды дизайнеров и внешнем — для группы команд «дизайн-разработка-продукт».

Интервью, коммуникация «один на один»

Следующим шагом в изучении операционного дизайн-долга является разговор с дизайнерами и другими членами команды, которые ежедневно взаимодействуют с ними. Чтобы избежать предвзятости, интервью лучше всего проводить в формате «один на один».

Подробно расспросите о взаимодействии как внутри команды, так и с другими отделами. Постарайтесь узнать, что думают сотрудники о команде дизайнеров.

На основе перекрестного анализа информации, полученной в ходе опросов и интервью «один на один», обычно становится понятно, какие процессы требуют немедленного вмешательства. Все результаты нужно сохранить, чтобы можно было оценить изменения во времени. Опросы для оценки уровня удовлетворенности сотрудников обычно проводят каждые 3-6 месяцев. Можно добавить в анкету и интервью вопросы, ориентированные на измерение дизайн-долга, чтобы получать информацию с такой же периодичностью.

Количественные методы измерения дизайн-долга

Переходим к сбору числовых данных. Так как не существует единой единицы измерения дизайн-долга, его количественная оценка основывается на группе параметров, которые влияют на него и связаны с ним.

Обратите внимание, что автор считает количественные методы второстепенными. Их анализ должен в значительной степени опираться на контекст, полученный в ходе проведения качественного исследования.

UX дизайн-долг

Метод: анализ ключевых показателей

Вы можете анализировать такие параметры, как DAU и MAU (количество уникальных пользователей, которые взаимодействовали с продуктом ежедневно/в течение месяца), показатель отказов, показатель удержания клиентов, NPS (Net Promoter Score — индекс определения приверженности потребителей товару или компании/бренду), CSAT (Customer Satisfaction Score — показатель удовлетворенности клиентов после их взаимодействия с вашей компанией или продуктом) и другие. Посмотрите список UX-метрик и KPIs, чтобы выбрать наиболее подходящие для вашего продукта. Тенденции и изменения в полученных данных могут многое рассказать вам о текущем состоянии UX продукта. Чтобы выявить области, на которые дизайн-долг оказывает негативное влияние, объедините эту информацию с историческим прошлым вашего продукта:

• Процессы, в редизайне и разработке которых в разные периоды времени участвовали разные команды
• Области, на которые больше всего повлияли изменения, внесенные в бизнес-модель

Визуальный дизайн-долг

Первое, что делают команды, когда пытаются количественно оценить визуальные несоответствия в продукте, это проводят тщательную инвентаризацию интерфейса каждой страницы или процесса. Они делают это для того, чтобы вычислить процент визуального несоответствия страниц или компонентов. Это может быть полезно, но во многих случаях процентные показатели трудно соотнести с реальностью. Особенно учитывая, что они, как правило, основаны на грубой оценке площади страницы и том, что визуально несогласованные элементы могут использоваться на многих страницах.

Вместо этого лучше сосредоточиться на самом заметном количественном симптоме визуального дизайн-долга: времени, потраченном на обеспечение качества визуального дизайна.

Метод: измерение дополнительного времени, потраченного на проверку качества дизайна

Отслеживайте время на:

• Рассмотрение визуальных аспектов работающего продукта в процессе проверки качества дизайна (дизайнеры)
• Исправление замеченных несоответствий пользовательского интерфейса (разработчики)
• Сравнение и согласование существующих стилей со стилями, представленными в дизайне (разработчики)

Если ваша команда не использует программное обеспечение для учета рабочего времени, вам придется попросить дизайнеров и инженеров оценить предполагаемый процент времени, которое уходит на проверку качества дизайна, от общего количества рабочих часов. Он будет неточным, но даст вам достаточно хорошее понимание проблемы. Если организация использует инструмент учета времени, можно добавить в него пункт «контроль качества визуального дизайна». Это позволит отличить данную деятельность от других, особенно от UX-процессов и проверки кода.

Чтобы вашей команде было проще предоставлять информацию, ограничьте исследование 2-3 крупными проектами. Заранее проинформируйте дизайнеров и разработчиков о необходимости следить за контролем качества визуальной части дизайна.

Операционный дизайн-долг

Чтобы измерить операционный дизайн-долг, необходимо изучить как внутренние, так и внешние процессы, в которых задействована команда дизайнеров.

Внутренние процессы

Метод: расчет соотношения времени, потраченного на подготовку, и времени на выполнение основной работы

Длительная подготовка к началу дизайн-проекта указывает на проблемы с ресурсами и процессами. Если дизайнеры работают с устаревшими файлами, неполной библиотекой компонентов и, в целом, бессистемно, то они тратят непропорционально много времени на:

• согласование стилей и компонентов с разработчиками
• создание макетов с нуля
• поиск старых файлов и ознакомление с ними
• написание документации для юзабилити-тестирования с нуля

вместо того, чтобы решать реальные проблемы дизайна.

Чтобы оценить масштаб проблемы, отслеживайте соотношение времени, потраченного на подготовку, и времени на выполнение основной работы в каждом отдельном проекте.

Возможно, вам нужно будет попросить команду рассчитать предполагаемый процент. Если подготовка превышает 3%, это тревожный сигнал.

Внешние процессы

Метод: измерение времени, потраченного на предотвращение проблем во время передачи дизайна в разработку

Попросите команду отследить, сколько времени уходит на устранение недопониманий и выполнение дополнительной работы, вызванной:

• Отсутствием разработчиков на ранних стадиях проекта
• Обнаружением ограничений, о которых стало известно на поздних этапах работы
• Упущением деталей из-за нечетких DoD (критериев готовности) проектов

Если эти проблемы задерживают сдачу дизайна, вызывая значительную разницу между расчетным и фактическим временем, необходимым для реализации проекта, то, вероятно, в вашей команде существует проблема операционного дизайн-долга.

Акцент на дизайн-долге может привести к возникновению предубеждений

Неверное понимание того, к чему приведет погашение дизайн-долга

Обычно, как только люди понимают, что такое дизайн-долг и осознают его влияние на продукт и организацию, они, естественно, начинают действовать. Они хотят как можно быстрее погасить его, чтобы избежать негативных последствий и забывают о том, что:

Снижение уровня дизайн-долга не гарантирует успех продукта. Он лишь повышает шансы избежать негативных последствий.

Признайте, что цели вашей компании состоят в том, чтобы найти баланс между погашением дизайн-долга и работой над другими проектами.

Отношение к дизайн-долгу как к источнику всех проблем

Обратите внимание, что при проведении исследований возможно искажение интерпретации фактов. Вы можете обнаружить множество дополнительных проблем и неверно связать их появление с наличием дизайн-долга только потому, что в данный момент вы сосредоточены именно на нем.

Важно отличать плохо спроектированный дизайн от дизайн-долга

Всегда ищите первопричину. Копайте глубже: рассматривайте проблемы в комплексе, анализируйте изменения, внесенные в бизнес и продукт по прошествии времени. Это поможет установить истинную причину возникновения проблем.

Измерение дизайн-долга — это бесконечная работа

Определение и измерение дизайн-долга — это непрерывный процесс, который приносит наибольшую пользу, если продолжается в течение длительного периода времени.

Первоначальное исследование отражает его текущее состояние и дает подсказку, какие действия необходимо предпринять, чтобы улучшить ситуацию. Это уже большой вклад. Положительный эффект на продукт и организацию растет экспоненциально, если этот процесс не прекращается. Появляется шанс лучше понять, как дизайн-долг влияет на продукт и команду. Эти знания могут оказать положительное воздействие на стратегию и в целом привести к достижению лучших результатов.

Другие статьи из серии «Дизайн-долг 101»:

• Что такое дизайн-долг и почему он возникает
• Как решить, какой дизайн-долг подлежит погашению
• Фейслифтинг, обновление, редизайн — стратегии погашения дизайн-долга