Дизайн исследования для новичков: гид по UX. Подготовка к UX-исследованию: наблюдение, гипотеза, сбор данных Как провести исследование с помощью метода фокус-групп

Исследования и прогнозы в IT

Перевод

Привет всем! Предлагаю вашему вниманию перевод статьи Dr. Philip Hodgson (@bpusability в Twitter). Он имеет BSc, MA и PhD в экспериментальной психологии. У него за спиной более чем 20-летний опыт работы в качестве исследователя, консультанта и тренера по юзабилити, пользовательскому опыту, человеческим факторам и экспериментальной психологии. Его работа повлияла на продуктовый и системный дизайн в областях потребления, телекоммуникаций, производства, упаковки, общественной безопасности, веб- и медицинских областей для рынков Северной Америки, Европы и Азии.

Концепция «силы доказательства» играет важную роль во всех областях научных исследований, но редко обсуждается в контексте исследования пользовательского взаимодействия. Мы узнаем то, что это означает в UX-исследовании, и сгруппируем методы исследований по силе данных, которые они предоставляют.

Кто-то однажды сказал: «В юзабилити нет вопросов». Я думаю, это был я. Признаю, что это было не лучшее высказывание. Оно не стоит рядом с такими словами как “Никогда на полях человеческих конфликтов” и “Один маленький шаг для человека”, но, тем не менее, оно имеет смысл и подводит к полезному эмпирическому правилу для UX-исследователей.

Позвольте мне объяснить.

Несколько лет назад во время работы на большую корпорацию и подготовки юзабилити-теста, проджект менеджер позвонил мне и попросил отправить ему список вопросов по юзабилити.

«В юзабилити нет вопросов» - ответил я.

«Что ты имеешь в виду?» - спросил он, «Как там не может быть вопросов? Как ты планируешь понять, нравится ли людям наш новый дизайн?».

«А я и не пытаюсь понять, нравится ли он им или нет» - проворчал я. «Я пытаюсь понять, могут ли они им пользоваться. У меня есть список заданий, а не вопросов».

Плохие и хорошие данные

Просьбы добавлять явные вопросы типа «как вы считаете?» в UX исследования не только говорит о том, что некоторые заинтересованные стороны не понимают цели юзабилити-тестирования, но и том, что они верят в огромную ценность каждого ответа участника тестирования. Это показывает, что они не в курсе концепции хороших и плохих данных и, как результат, верят в то, что всё сказанное пользователем - полезно.

Но это не так.

Существуют сильные и слабые данные. Это справедливо для всех областей научных исследований, будь то разработка нового препарата, открытие новой планеты, раскрытие преступления или оценка нового интерфейса софта.

UX-исследование это непосредственное наблюдение за тем, что делают люди. Это не сбор их мнений. Это потому что как данные, мнения бесполезны . На каждые 10 человек, которым нравится ваш дизайн, найдется 10 других, которые будут ненавидеть его, и еще 10, которым вообще будет все равно. Мнения - это не доказательства.

Поведение же, напротив, является доказательством. Именно поэтому детектив скорее поймает кого-нибудь за руку в момент совершения преступления, чем просто поверит кому-то на слово. Поэтому часто повторяется совет: «Обращай внимание на то, что люди делают, а не на то, что говорят» . Этот совет уже почти стал клише в UX, но с этого можно начать дискуссию о чём-то важном, например, о силе доказательства. Это хорошая идея, что некоторые данные подкрепляются сильными доказательствами, некоторые относительно сильными, а некоторые слабыми. Никто не хочет, чтобы в основе разработки их продукта были слабые доказательства.

Доказательства в UX-исследованиях

Доказательства - это то, что мы используем для подкрепления наших заявлений и доводов. Это то, что дает нам авторитет, когда мы выносим решения по конкретным параметрам дизайна, особенностям продукта, по тому, когда нужно закончить очередную итерацию в дизайне, по решениям типа «делать/не делать» и по запуску нового продукта, сервиса или сайта. Доказательство - это то, что мы предоставляем своей команде разработчиков и что выкладываем на стол во время несогласий и споров. Мы подкрепляем наши доводы доказательствами, основанными на хороших данных. Данные - это часть исследования. «Данные! Данные! Данные!», - кричал Шерлок Холмс. «Я не могу слепить кирпичи без глины».

Может казаться, что UX-исследования это мероприятия, проводимые по принципу «сначала метод» («нам нужен юзабилити-тест», «я хочу провести контекстный опрос», «давайте зафичим карточную сортировку»), но UX-исследователь, фокусирующийся на первичных вопросах исследования , действует по принципу «сначала данные»: «Какой тип данных я должен собрать, чтобы предоставить достоверные и убедительные доказательства по этой проблеме?» . А уже далее следует метод.

Что такое сильное доказательство?

Сильное доказательство следует из данных, которые достоверные и надежные.

В юзабилити-тестировании достоверные данные - это вещи типа показателя завершения заданий и эффективности, но никак не эстетическая привлекательность или личное предпочтение.

Надежные данные - это данные по итогам исследования, которое было проведено ещё раз по тому же методу, что и в прошлый раз, но с участием других респондентов.

Независимо от метода, исследовательские данные должны быть достоверными и надёжными. В противном случае, они просто выбрасываются.

В UX-исследованиях сильные данные исходят из выполнения заданий, из наблюдений за пользователем (объективных и независимых), и когда пользователя непредвзято ловят “за руку”. Данные становятся сильными вместе с уровнем нашей уверенности и уверяют нас в том, что продолжение исследования вряд ли изменит уровень нашей уверенности в наших выводах.

Ниже - краткая систематика методов, основанных на уровнях доказательств. По сути, это систематика типов данных, которые дают методы. Предполагается, что каждый метод был грамотно продуман. Это не исчерпывающий список, но он включает список основных методов, которые UX-исследователи обычно применяют в процессе создания дизайна, ориентированного на пользователя.

Примеры сильных UX-доказательств

Сильные UX-доказательства неизбежно включают в себя целевых пользователей, выполняющих задания, или вовлечённых в активность, которая имеет отношение к разрабатываемой концепции или исследуемой проблеме. Вот они:

Контекстное исследование (полевое этнографическое исследование или другие варианты, когда фиксируется поведение пользователей во время выполнения ими их работы или достижения своих целей)
Формирующие и суммирующие юзабилити-тесты , в которых пользователи выполняют задания в интерфейсе продукта
Веб/поисковая аналитика или любого типа автоматически собранные данные об использовании продукта
А/Б или многофакторное тестирование
Анализ задач
Вторичные исследования поведенческих исследований, основанные на метаанализах и рецензируемых статьях, а также на предыдущих UX-отчётах, которые полностью описывают используемый метод

Примеры относительно сильных UX-доказательств

Для того, чтобы определить эту категорию, данные должны исходить из результатов исследований, которые как минимум включают в себя выполнение заданий - или пользовалями, или экспертами, или включать самостоятельную отчетность о фактическом поведении. Эти методы зачастую являются предшественниками методов из “сильной” категории. Они попали в эту категорию, потому что данные, которые они дают, обычно менее постоянны и менее точны.

Обратная связь экспертов юзабилити, которые выполняли реальные задачи
Интервью или любого рода отчёт о собственном поведении типа Jobs to be done
Отслеживание взгляда
Поп-ап исследование «партизан» в кафе, библиотеках и т.д.

Примеры слабых UX-доказательств

Решения, основанные на слабых или ошибочных данных, могут стоить компаниям миллионы долларов, если эти решения выливаются в плохой дизайн, плохой маркетинг или неверные утверждения о продукте.

Возникает очевидный вопрос: зачем проводить исследование, результат которого - плохие данные?

Данные из этих методов не нужны в UX-исследованиях. Они лишь немногим лучше, чем простые предположения. Если вы можете выбрать, тратить бюджет проекта на такие методы или на благотворительность, выберите последнюю.

Любой тип псевдо-юзабилити-тестирования, например, опрос людей на тему, какой дизайн им нравится больше, или тесты, которые в значительной степени зависят от интервью для первичного сбора данных
Немодерированное тестирование с комментированием вслух, которое позволяет пользователям думать, что они эксперты, а не респонденты, выполняющие задания
Оценка юзабилити, даже экспертами. Это то же самое, что и “пинание шин”
Фокус группы (не заставляйте меня начинать)
Опросы (вы в праве не согласиться, но только если вы спали во время выборов в США в 2016 году)
Интуиция, обращение к властям или личный опыт
Мнение друзей, коллег, семьи, вашего босса, менеджеров и руководителей компаний

Как оценивать силу доказательств в исследовании или отчёте

Начните задавать эти вопросы:

Почему я должен верить этому заявлению?
Насколько хорошо это доказательство?
Могу ли я рассчитывать на эти выводы?

В этих вопросах нет подвохов: любой, кто представляет выводы исследования, должен быть в состоянии ответить на них.

В ходе исследования спросите себя:

Я наблюдаю людей, которые работают (выполняют задания в прототипе) или слушаю, что они говорят (деляться мнениями о дизайне)?
Интервьюируемые люди размышляют о том, что они могут сделать в будущем, или опираются на события, которые произошли с ними в прошлом?

Некоторое время назад я создал . Если вы хотите дать исследованию хорошую встряску, вы найдете там много интересного.

Я начал эту статью, поообещав эмпирическое правило. Вот оно. Используйте его как мантру, когда оцениваете силу пользовательских исследований:

Поведение - сильные данные. Мнения - слабые данные.

Теги:

юзабилити
ux design
исследование

Добавить метки

В индустрии, в основе которой лежит использование людьми продуктов, услуг и приложений, исследования просто необходимы. Дизайнеры задают вопросы. Они изучают доступные данные. Стараются узнать все, что возможно, о целевой аудитории, после чего интерактивно тестируют результаты свей работы. В основе удобного продукта всегда лежат дизайн исследования.

У UX исследований (или дизайнерских исследований) может быть множество целей в зависимости от этапа работы. Они помогают определить, а после чего доказать или опровергнуть предположения, найти общие черты среди членов целевой аудитории, понять их нужды, мотивацию и ментальные модели. Исследования дают необходимые для работы данные, улучшают понимание и подкрепляют решения. Ведь профессиональный дизайнер не руководствуется принципом “я художник, я так вижу”, он создает лучший продукт для реализации конкретной цели определенной целевой аудитории.

Что такое дизайн (UX) исследования?

Дизайн исследования включают в себя множество методов, которые используют для получения информации. Но дизайнеры не изобрели ничего нового. Многие техники были заимствованы из академических, научных и маркетинговых сфер. Однако существует и несколько видов исследований, которые уникальны для UX мира.

Основная цель дизайнерских исследований – информировать процесс разработки с ориентацией на конечного пользователя. Это помогает избежать распространенной ошибки – создания дизайна только для себя. Именно исследования помогают понять, кем являются конечные пользователи, в каком контексте они будут использовать продукт и что им нужно.

Исследования состоят из двух частей: сбор данных и их обработка с целью улучшить юзабилити. В начале проекта дизайнерские исследования посвящены определению требований к проекту от руководителей, а также целей и нужд конечных пользователей. Сюда входит проведение интервью, опросов, изучение потенциальных или существующих пользователей, анализ имеющейся литературы и данных. Затем исследования начинают ориентироваться на юзабилити и мнения о продукте. На данном этапе проводятся A/B тестирования, интервью с пользователями о процессе взаимодействия и тестирование гипотез, которые способны улучшить дизайн.

Разделить существующие методы исследования можно на два лагеря:

Количественные исследования – все, что можно измерить в числах. Они отвечают на вопросы: «Сколько людей нажали на эту кнопку?» или «Какой процент пользователей смогли найти призыв к действию?». Эти данные полезны при определении статистических вероятностей и изучении поведения на сайте или в приложении. Здесь пригодятся и тепловые карты.
Качественные исследования помогают понять, почему пользователи совершают те или иные действия. Обычно проводятся они в формате интервью или беседы. Используются подобные вопросы: «Почему люди замечают призыв к действию?» или «Что еще люди замечают на странице?».

Некоторые исследователи могут специализироваться только на определенных видах интервью или тестов, но большинство используют в своей практике разнообразные техники.

Общие методики

Все разнообразные типы дизайн исследований от личных интервью до A/B тестирования основываются на трех методиках: наблюдении, понимании и анализе.

Наблюдение

Первый шаг на пути к проведению исследования – научиться наблюдать. Начинающие специалисты должны заново научиться видеть: замечать сигналы, которые говорят о состоянии опрашиваемого пользователя, или обращать внимание на мельчайшие детали, которые в дальнейшем смогут значительно повлиять на проект.

Наблюдение кажется очень простым навыком, но оно часто затмевается подсознательными предубеждениями. Поэтому исследователи тренируются наблюдать и делать пометки, чтобы позднее найти общие черты у группы на первый взгляд непохожих людей.

Понимание

Также как и наблюдение, понимание – это то, что все мы делаем в повседневной жизни. Мы стараемся понять наших коллег, членов семьи и друзей, причины их ссор и необычное для нас поведение. В UX исследованиях центральное место занимает понимание ментальных моделей.

Ментальная модель – это представление о мыслях людей об определенной фразе или ситуации. Например, ментальная модель владельцев внедорожников будет отличаться от ментальной модели водителей электромобилей. Ментальная модель влияет на решения. Если спросить у автомобилистов: «Сколько времени занимает дорога из Москвы до Санкт-Петербурга», помимо всех прочих данных, они будут ориентироваться и на характеристики своего автомобиля.

Исследователи должны понимать ментальные модели людей, с которыми они проводят интервью, по двум причинам:

Во-первых, любое общение ограничено по времени. Исследователи должны определять любые сигналы, основанные на ментальных моделях говорящих.
Во-вторых, если исследователь сможет четко определить ментальную модель пользователя, то это поможет дизайнерам создать отвечающий ожиданиям продукт.

Анализ

Исследование само по себе может представлять ценность, но чтобы использовать полученные данные в дизайне, их нужно проанализировать и представить другим членам команды. Анализ – это процесс определения структуры исследования, формулирования логических обоснований или возможных решений, а также рекомендаций.

Некоторые техники анализа подразумевают создание персон и сценариев описаний ментальных моделей или таблиц и графиков, которые отражают статистику и поведение . Важно не забывать о том, что результатами исследования нужно делиться.

Виды исследований

Все UX проекты разные, поэтому и список задач может существенно различаться. Самые популярные формы исследования: интервью, опросы и анкетирования, сортировка карточек, тестирование юзабилити, тестирование иерархии и A/B тестирование.

Интервью

Личное интервью – проверенный и доказавший свою эффективность метод коммуникации между исследователем и пользователем или руководителем. Существует три основных типа интервью, каждый из которых преследует разные цели:

Стандартизированное интервью – самый распространенный тип. Это типичные интервью вопрос-ответ, когда исследователь задает конкретные вопросы. Оно может быть полезно при общении с большим количеством пользователей, когда необходимо сравнить и сопоставить ответы.
Свободное интервью – отличный способ лучше узнать пользователей или руководителей. Исследователь устанавливает определенные рамки и начинает разговор. В течение интервью говорить должен в основном пользователь (или руководитель), ведущий же может только попросить объяснить что-либо или рассказать подробнее.
Этнографическое интервью позволяет узнать привычки людей и понять их типичное поведение. Пользователь рассказывает, как он совершает то или иное действие. Такое интервью позволяет оценить разрыв между тем, что люди говорят, и тем, что они делают.

Опросы и анкетирование

Опросы и анкетирование – прекрасная возможность собрать много данных о группе, потратив при этом минимум времени. Этот тип исследования подходит для проектов с большой и разнообразной группой пользователей или с пользователями, которые предпочитают оставаться анонимными. Исследователь может создать опрос при помощи Google Docs , разослать его по email и получить сотни ответов всего за пару минут.

Есть у этого метода исследования и свои недостатки. Исследователь не может взаимодействовать с респондентом напрямую, поэтому может не понять некоторые формулировки или конкретные обстоятельства. Учтите, что на опросы отвечают охотнее, если не требуется вводить контактную информацию или регистрироваться. Но подобная анонимность лишает возможности попросить пользователя прокомментировать ответ или дополнить его деталями.

Сортировка карточек

Сортировка карточек может стать частью интервью или тестирования юзабилити. Пользователю дается набор терминов, которые нужно разделить по категориям. При этом можно как называть категории перед началом проведения исследования, так и предоставить возможность самостоятельно подобрать подходящие категории.

Цель сортировки карточек – выявить связи в контенте и лучше понять иерархию с точки зрения пользователя.

Тестирование юзабилити

В рамках тестирования юзабилити потенциальных или настоящих пользователей просят выполнить ряд задач и при этом фиксируют их поведение. Можно использовать уже готовую версию сайта или приложения, а также или даже просто набросок.

Существует три самых распространенных вида тестирования юзабилити: модерируемые, немодерируемые и партизанские.

Модерируемое тестирование – самое традиционное. Исследователь находится рядом с пользователем, общается с ним, зачитывает ему задания и просит комментировать все мысли и действия. При этом руководители могут находиться в соседней комнате и наблюдать за процессом, либо следить за тестированием по видео.
Немодерируемое тестирование проводится онлайн. Задания и инструкции записываются на видео или аудио. Пользователи жмут на кнопку, чтобы начать тест и записывают действия и свои комментарии. Их просят озвучивать все свои мысли. Проводить такие исследования гораздо дешевле и сделать это можно на большом количестве сайтов.
Партизанское тестирование – современный подход к проведению традиционного теста. Встреченных на улице или в кафе пользователей просят выполнить несколько заданий на сайте или в приложении в обмен на пару долларов, кофе или без вознаграждения. Этот вид исследования подходит проектам, ориентированным на большую базу пользователей.

Тестирование иерархии

Тестирование иерархии позволят собрать всю необходимую информацию для создания . Пользователям дается задание и показывается верхний уровень меню, после чего их просят озвучить дальнейшее направление движения по имеющейся архитектуре. Цель исследования – понять, правильно ли сгруппирована информация и соответствует ли она выделенным секциям.

A/B тестирование

В отрасли, посвященной людям, которые используют наши продукты или услуги, исследование имеет первостепенное значение. Мы задаем вопросы и узнаем все, что нам нужно о целевой аудитории. Это помогает нам понять, правильно ли мы выполняем свою работу.

Что такое UX исследования?

UX исследование охватывает множество методов, используемых для понимание процесса проектирования. Практикующие UX дизайнеры позаимствовали многие техники у академиков, ученых, исследователей рынка. Тем не менее, существуют и типы исследований, которые являются достаточно уникальными для UX.

Основной целью исследования проекта является сбор нужной информации для разработки проекта, который будет полезным и интересным пользователю. Исследование говорит нам, кто этот человек, как он будет использовать этот продукт или услугу, и что ему нужно от нас.

Исследование состоит из двух частей: сбор данных и их обобщения. В начале проекта важно узнать, что хотеть получить от проекта заинтересованные стороны. Исследователи будут проводить опросы, наблюдать за перспективами и текущим использованием аналогичных продуктов, делать обзор существующей литературы, данных и аналитики.

Мы можем разделить методы UX исследования на два типа: количественные и качественные.

Количественные исследования - это любые наблюдения, которое могут быть измерены численно. Это поможет понять, что происходит на сайте или в приложении.
Качественные исследования иногда называют «мягкими». Они помогают нам понять, почему люди принимают определенные решения. Чаще всего такое исследование принимает форму интервью или беседы.

Все исследователи собирают ценную информацию, которая позволяет нам создавать дизайн, ориентированный на пользователя.

Общая методология

В основе всех основных методов UX исследований лежат одни и те же ключевые методики: наблюдение, понимание и анализ.

Наблюдение

Начинающие исследователи должны понимать своих пользователей. Реакция пользователя всегда говорить большем, чем он сам. Поэтому исследователи дизайна тренируются, чтобы наблюдать и замечать детали. Это предоставит им возможность найти закономерности на основе опроса различных групп людей.

Понимание

Понимание, также, как и наблюдение, касается нашей повседневной жизни. Мы стремимся понять наших коллег, семью и друзей. Но для UX исследователей понимание - значит работа с ментальными моделями. Ментальная модель - это особенность человека думать о конкретной фразе или ситуации. Например, если собеседник владеет внедорожником, его умственная модель «автомобиля», скорее всего, отличается от мысленной модели владельца смарт-автомобиля.

Анализ

Анализ помогает выявить некие закономерности в исследовании, после чего приходит возможное решение и рекомендации. Для того, чтобы использовать идеи, информация должна быть проанализирована и в конечном счете, представлена команде.

Некоторые методы анализа включают в себя создание сценариев, описывающих ментальные модели, предоставление графиков и диаграмм, которые представляют статистические данные и характеризируют поведение пользователя.

Ежедневные задачи и практические результаты

Каждый проект UX отличается, как и форма исследования, которая больше всего подходит для него. Наиболее распространенными формами исследования являются: интервью, опросы и анкетирование, тесты юзабилити, тесты дерева и A / B тесты.

Интервью

Интервью является проверенным и надежным способом общения между исследователем и пользователем (заинтересованной стороной). Существуют три основных типа интервью. Каждый тип используется в разном контексте и с разными целями.

Направленные интервью являются наиболее распространенными. Это типичные интервью, в котором исследователь задает конкретные вопросы. Такой метод полезен при общении с большим количеством пользователей.

Ненаправленное интервью - лучший способ узнать от субъектов информацию, отвечая на прямые вопросы. Во время разговора интервьюер будет, в основном, слушать, и только предоставлять пользователю дополнительную информацию или объяснять понятия.

Этнографическое интервью включает наблюдение за действиями людей, их поведением в «естественной среде обитания». Пользователь показывает, как он выполняет определенные задачи. Он предоставляет более практическую информацию о процессе использования продукта. Это помогает ученым понять пробелы между тем, что люди на самом деле делают, и тем, что они говорят.

Обзоры и опросы

Анкетирование и опросы - простой способ собрать большое количество информации о пользователях, при минимальных затратах времени. Это отличный выбор для исследования проектов, которые имеют большую и разнообразную группу пользователей. Исследователь может создать опрос, используя такие инструменты, как Wufoo или Google Docs, и получить сотни ответов за считанные минуты.

Юзабилити тесты

Юзабилити-тестирование включает в себя просьбу потенциальных или текущих пользователей продукта завершить набор задач. Во время этого происходит наблюдение за их поведение, для того, чтобы определить пригодность продукта. Это можно сделать с помощью сайта или приложения, прототипа.

Tree (Дерево) тесты

Являются отличным способом для сбора информации, перед созданием архитектуры сайта. Цель состоит в том, чтобы определить, правильно ли построены категории информации, и верно ли номенклатура отражает разделы сайта.

A / B тесты

Тестирование А/B - это еще один способ узнать, как пользователь принимает свои решения. Тест А/B обычно выбирают, когда пытаются сделать выбор между двумя конкурирующими элементами. А/B тестирование особенно ценно при сравнении старой версии сайта и новой.

Инструменты торговли

Исследования пользователей имеет большой потенциал. Но руководство часто отпугивает планирование исследование и бюджет, который нужно потратить на это. Сегодня существуют инструменты, которые помогут провести исследования пользователей при минимальных затратах ресурсов и времени.

Ethnio был одним из наиболее популярных инструментов исследования программного обеспечения. Ethnio находит пользователей, которые в настоящее время используют сайт или приложение, и (с их разрешения) позволяет интервьюеру задать им определенные вопросы. Ethnio имеет четырнадцатидневную бесплатную пробную версию, а также четыре варианта цены для использования предприятиями любого размера.

Optimal Workshop

Полный комплект Optimal Workshop представляет собой комплект из четырех исследовательских инструментов, доступных отдельно (по очень приемлемой цене). Treejack отлично подходит для удаленного тестирования информационной архитектуры, проверки номенклатуры или иерархии. Оптимальная сортировка предоставляет собой онлайн карты, которые предлагаются пользователю для сортировки.

SurveyMonkey

Используя SurveyMonkey, вы сможете создать онлайн-опрос и получите инструмент для составления отчетов. Этот инструмент позволяет людям настраивать собственные исследования, а затем отправлять их через социальные медиа. Он доступен в качестве бесплатной базовой версии. Также Вы сможете приобрести такую программу с дополнительными функциями за ежемесячную плату.

UserZoom

UserZoom - программа, которая предлагает разные виды тестирования пользователей: юзабилити-тестирование, удаленное тестирование для мобильных и настольных вариантов сайта, бенчмаркинг, карты, тестирования дерева, обзоры и рейтинги. Негативная сторона - высокая цена. Тем не менее, для предприятия, которое имеет неплохой бюджет, использование UserZoom является эффективным выбором, предоставляющий максимальный результат.

UX-аналитик ecommerce-платформы Shopify Алена Югина в своем блоге на Medium рассказала , как подготовиться к проведению UX-исследования, как при этом объединить количественные и качественные методы и какие данные следует собрать.

Формулируем вопрос и собираем данные

Многие UX-исследователи избегают статистики. Большинство из нас, в том числе и я, не имеют высшего образования в области математики, поэтому нам тяжело работать со сложными статистическими уравнениями. SPSS, SAS, R и даже Excel и Таблицы Google позволяют использовать статистические данные на концептуальном уровне, без необходимости углубляться в уравнения. Но при использовании этого программного обеспечения есть некоторый риск, особенно если вы не имеете никакого представления о статистике.

Участники проекта нередко спорят, что важнее: «большие данные» или этнографический подход к дизайну продукта. Такие споры, как правило, контрпродуктивны: эти два метода дополняют друг друга, а не противостоят. Для дискуссий есть и более важные вопросы - например, кто должен править Вестеросом из «Игры престолов».

Как объединить в исследовании качественные и количественные методы

Начните с вопросов. UX-исследователи могут задавать целый ряд вопросов для количественного анализа, касающихся отношения владельца к конкретной задаче («Ваше мнение об онлайн-маркетинге?») или собирать информацию на основе поведенческого опросника («Как владельцы малого бизнеса создают свой имидж и как они воспринимают свой онлайн-магазин?»).

С другой стороны, сбор качественных данных может включать в себя посещение местного магазина, наблюдение за поведением владельца бизнеса без заранее составленных вопросов или проведение интервью, в котором бизнесмен открыто говорит об управлении складом, при этом ему не задают конкретных вопросов.

Выберите метод. Выбор методов зависит от вашего намерения. Либо вы до начала исследования уточняете, какая нужна информация (количественный метод), либо позволяете ее раскрыть самим участникам (качественный метод).

Определите, как вы будете записывать данные. Какие могут быть данные:

числовые (количественные);
полученные на основании опросов («возраст Х% владельцев бизнеса - от 18 до 24 лет»);
полученные на основании Google Analytics (показатель отказов на этой странице - Х%);
качественная информация (текст, аудио или изображение), полученная из интервью и наблюдений.

Решите, как вы будете интерпретировать данные. Вы можете применять статистический анализ (количественный метод) или интерпретировать темы и шаблоны, полученные из данных (качественный метод). Это зависит от вопроса, методов и инструментов.

UX-исследователи регулярно собирают, анализируют и интерпретируют как количественные, так и качественные данные. Мы погружаемся в поведение человека и очень точно обрабатываем и обобщаем результаты от одной выборки ко всей группе людей. Данные «тепловой карты» можно дополнить открытыми наблюдениями, а данные опроса - проведением подробных исследовательских интервью.

Я считаю, что искусственное разделение методов исследования на качественные и количественные только вносит путаницу в UX-исследование. Во многих обучающих материалах рекомендуют не обобщать результаты небольших выборок: высока вероятность появления статистической случайности.

Мы не говорим о «ловушках сбора количественных данных», таких как сотни ненужных «тепловых карт», событий в Google Analytics и A/B-тестах, - просто потому, что эти методы всем доступны. Не буду вдаваться в подробности анализа исследования, это очень масштабная тема.

Хочу только еще раз повторить, что ключевая задача UX-исследования - добиться ясности, избежать сложностей и в конце концов любым проверяемым методом найти ответ на интересующий вас вопрос.

1. Наблюдаем, прежде чем начать систематическое измерение

Приступая к любому исследованию, я отвечаю на четыре простых вопроса:

Какой необходим уровень анализа?
Какие группы людей я буду изучать?
Где проводить исследование?
В какое время суток проводить исследование?

Сразу же после этого я приступаю к неформальному наблюдению того, что хочу лучше понять. Наблюдение может носить эпизодический характер (я заметила, что мой отец очень избирательно решает, в каком магазине купить алкоголь) или основываться на данных (я попросила нескольких владельцев бизнеса записывать свои мысли каждый раз, когда они общаются с новым поставщиком, и заметила, что большинство из них очень разборчивы).

Любой хороший аналитик данных, будь то статистик или UX-исследователь, скажет, что перед самим исследованием нужно проводить неформальные наблюдения и общаться с людьми, чтобы лучше понять группу людей, чье поведение вы планируете анализировать.

Вот почему важно предварительное наблюдение:

Вы получаете исходный материал для формулирования вопросов и гипотез.
Это помогает вам определиться с группой людей, которую вы будете исследовать.
Это помогает выбрать методы измерения и записи, лучше всего подходящие к ситуации.

Нельзя недооценивать значимость простого наблюдения перед систематическими измерениями. Начинающий исследователь может споткнуться на первых этапах, потому что он стремится сразу получить точные данные и не уделяет достаточно времени составлению правильных вопросов.

Опытный исследователь много времени проводит над предварительным наблюдением и часто исключает самые первые данные из окончательного анализа. Методы исследования и измерения результатов при необходимости можно изменить, не рискуя достоверностью исследования.

2. Создаем проверяемую гипотезу

Ключевое слово - «проверяемая». Карл Поппер, известный философ науки, сказал , что критерием научного статуса теории является ее фальсифицируемость (или опровержимость, или проверяемость). То есть за хорошей теорией всегда стоит гипотеза, которую можно доказать или опровергнуть количественными или качественными методами исследования.

Например, «бизнесмены разборчивы в выборе поставщиков» - это ненаучное заявление: «разборчивость» невозможно выразить количественно, а «бизнесмены» - слишком большая группа людей. Если мы изменим это заявление и скажем, что «владельцы малого бизнеса называют не менее трех факторов для отбора, оценки и проверки поставщиков», то оно становится проверяемым. Теперь мы сможем выяснить, что это за факторы и как они отличаются в разных сферах бизнеса.

3. Собираем данные для проверки теории

Здесь нужно определиться с двумя моментами: что измерять и как измерять. Первый вопрос довольно прост: чтобы проверить теорию, нам нужно измерить переменные, то есть то, что различается у разных людей (поведение, возраст), в разных местах (количество предприятий малого бизнеса в Канаде и Австралии) или в разное время (чувство голода в полдень и в два часа дня, прибыль компании в январе и феврале).

Многие гипотезы можно выразить двумя переменными: причина (независимая переменная) и следствие (зависимая переменная). Если мы возьмем заявление «Плохой дизайн страницы оформления заказа повышает количество отказов», то «плохой дизайн страницы оформления заказа» - это причина, а «низкая конверсия клиентов» - следствие. Переменные (по сути, собранные числа и слова) можно разбить на качественные и непрерывные, и дальше уже выделяются разные уровни измерения.

Качественная переменная - это переменная, которая различает объекты. Вы либо человек, либо кот, либо летучая мышь. Нельзя быть немного летучей мышью и немного человеком, если только вы не Бэтмен.

Двоичная переменная: выделяют только две категории (например, «да» и «нет»).
Категориальная переменная: выделяют более двух категорий («я продаю одежду, электронику, мебель, спортивное оборудование» и так далее).
Порядковая переменная аналогична категориальной, но категории выстроены в логическом порядке (начинающий, растущий или зрелый бизнес).

Непрерывная переменная дает оценку каждому человеку и может принимать любое значения на шкале переменных, которую вы используете.

Интервальная переменная: равные интервалы на переменной (например, на шкале от 1 до 5 разница между 1 и 3 равна разнице между 3 и 5).
Переменная отношений: аналогична интервальной переменной, но измеряет соотношения (например, время срабатывания «4 секунды» в два раза дольше времени срабатывания «2 секунды» и наполовину короче времени срабатывания «8 секунд»).

Как проверить нашу теорию, используя эти переменные? В корреляционном (качественном) исследовании мы наблюдаем за тем, что происходит в мире, без прямого вмешательства. При экспериментальном (количественном) исследовании мы манипулируем одной переменной, чтобы выявить ее влияние на другую.

Какой бы метод вы ни выбрали, помните, что поведение состоит из непрерывного потока движений и событий. Прежде чем получить достоверные измерения, этот поток нужно разделить на дискретные категории. Я обычно выбираю категории на основании заданного вопроса, а не на основании какого-то присущего характера поведения.

Неопытные исследователи склонны слишком много записывать. Поток поведения безграничен, поэтому здесь важен избирательный подход. Чем меньше используется категорий, тем достовернее будет измерение каждой из них, причем все категории можно отнести к категориальным, порядковым, интервальным или переменным отношения. Например: «У P1 ушло в два раза больше времени на поиск кнопки оформления заказа, чем у P2».

Кроме качественных и непрерывных переменных, есть еще четыре типа показателей, которые помогают описать поведение:

Период ожидания. Он измеряется в единицах времени (секунды, минуты, часы). Это время от какого-то конкретного события (например, начала записи сеанса исследования) до первого проявления поведения. Например, если человек не нажимает на кнопку призыва к действию по прошествии двух минут, то задержка клика составляет две минуты.

Частота. Измеряется в обратных единицах времени (с -1 , мин -1 , час -1). Это количество проявления шаблонов поведения за единицу времени. Например, если человек нажимает на кнопку призыва к действию 20 раз за 10 минут, то частота действий составляет два раза в минуту.

Продолжительность. Измеряется в единицах времени (секунды, минуты, часы). Это отрезок времени, в течение которого длится один шаблон поведения. Например, если человек начинает читать инструкцию и прекращает через пять минут, то длительность процесса чтения составляет пять минут.

Интенсивность помогает оценивать масштаб шаблона поведения и может измеряться при помощи физических величин: вес поднятых ящиков, объем выпитой воды, количество подсчитанных чеков или расстояние, пройденное от пункта А до пункта В. Можно измерить интенсивность голоса во время общения коллег (для оценки условий работы), амплитуду движения руки во время поднятия коробок или высоту прыжка; интенсивность выражения эмоций или степень агрессии во время социального взаимодействия.

Самый простой показатель интенсивности - локальный коэффициент, который определяется как количество действий компонента за единицу времени, потраченную на выполнение действия. Например, интенсивность ходьбы можно измерить количеством шагов за единицу времени. Локальный коэффициент включает ускорение интенсивности поведения: чем быстрее выполняется действие, тем выше локальный коэффициент.

4. Не только анализ

Это лишь некоторые инструменты, которые можно использовать, чтобы выразить поведение в количественной форме. Какие бы инструменты вы ни выбрали, анализ должен быть точным. Перейдя от бумаги и карандаша к компьютеру, вы ускорите проведение анализа и, вероятно, сделаете его более точным, но вы не сможете изменить данные. Неправильно собранные данные и неактуальные данные нельзя вносить в компьютер, хотя некоторые пытаются завернуть эти данные в оболочку сложного анализа и представить в виде запутанных диаграмм.

Используйте самые лучшие доступные методы и оборудование, чтобы создавать и проверять гипотезы. Главное, не увлекайтесь методологией. Как сказали Фаген и Янг, «будущее принадлежит тем, кто может эффективно использовать простые методы для проверки теоретической гипотезы, или тем, кто готов создавать оригинальные модели поведения в случае отсутствия простого доступного метода».

Выясняем роль UX дизайна в процессе раскрутки стартапов: для чего нужны исследования пользователей и как это помогает повысить эффективность бизнес-проекта. Тему раскрывает Евгений Полев, который 4 года посвятил UX проектированию — сначала в UsabilityLab, а после в компании Ciklum, где работает по сегодняшний день.

UX дизайн (с англ. user eхperience — опыт взаимодействия) — процесс проектирования взаимодействия пользователя с продуктом. Призван повысить удовлетворенность пользователей путем улучшения уровня юзабилити. UX дизайн включает в себя дизайн интерфейсов, а также покрывает все аспекты взаимодействия пользователя с продуктом, сервисом и компанией в целом.

У UX дизайна 2 основные задачи:

облегчить достижение цели для пользователей (чтобы люди заскакивали в воронку продаж и уходили довольными);
повысить лояльность (продлить подписку, сделать так, чтобы пользователи возвращались на сайт).

Изменение интерфейса может принести $300 млн

В начале 2000-х годов команда Джаред Спула (Jared M. Spool), известного юзабилити специалиста, занялась исследованием конверсионного пути на сайте Best Buy, одного из самых крупных интернет-магазинов электроники в Америке.

Ситуация была такова: когда пользователи добавляли товары в корзину, появлялась форма — «зарегистрироваться». Пообщавшись с людьми, Джаред Спул понял, что они хотят совершать покупки и не желают проходить регистрацию. Он поменял название кнопки на «перейти к оплате» и добавил подпись снизу — «Вы будете автоматически зарегистрированы на сайте». За год продажи компании увеличились на $300 млн.

Это хороший пример того, как работает UX дизайн, — исследование пользователей дало четкое понимание проблемы.

Зачем еще нужны исследования аудитории маркетплейса

Дизайн — итеративный процесс. Если что-то не подходит, мы возвращаемся на начальный или нужный этап и проектируем заново. Схема выглядит следующим образом:

Определить контекст использования и потребности (сформировать user flow, определить эмпатию пользователей).
Разработать дизайн-решение.
Создать прототип или внедрить.
Оценить на соответствие требованиям и KPI.

Исследования аудитории помогут быстрее принимать решения касательно корректировок, которые необходимо внести. Вы сможете:

убедиться, что целевая аудитория продукта выбрана правильно;
понять цели, мотивы, ожидания и контекст использования;
выявить юзабилити проблемы в текущем решении;
проверить идеи и новые концепции для развития продукта;
выяснить, как воспринимается продукт по сравнению с конкурентами.

Предварительный анализ рынка и целевой аудитории

Начальный этап работы, во время которого происходит сбор информации, необходимой для разработки оптимального дизайн-решения.

Включает в себя:

интервью с бизнесом и экспертами в предметной области;
анализ статистики;
анализ конкурентов и их аудитории;
изучение продукта и собственный опыт использования;
анализ социальный сетей и профильных ресурсов.

Собранные данные обрабатываются, чтобы на их основе разработать первичный дизайн торговой площадки.

UX исследования: 2 основных вида с объяснениями

Все UX исследования условно можно разделить на 2 типа. Остановимся на каждом из них.

Качественные UX исследования

Ориентированы на информацию, которая касается репутации продукта, удобства для пользователей, актуальности и т. д. Эти данные нельзя измерить в цифрах. Они дают возможность оценить, как ведут себя потребители, объясняют, почему именно так, и помогают адаптировать продукт под их запросы.

Количественные UX исследования

Предназначены для анализа данных в цифрах: сколько пользователей посещает сайт, как часто они осуществляют те или иные действия, какими функциями пользуются регулярно. Это помогает при помощи статистики сформулировать, насколько эффективными были предыдущие решения, какие из них пользовались популярностью, а какие нет.

Методы UX исследований, которые необходимо использовать в работе

Для удобства я сформировал шкалу, по которой можно ориентироваться при выборе методов UX исследований. На первом графике видно направляющие:

поведение — оценивается, что делает пользователь;
отношение — какие эмоции испытывает;
количественные — как часто посещает ресурс, как долго остается на странице;
качественные — что можно улучшить.

На втором графике показано, какие методы исследования можно использовать для измерения тех или иных показателей. Они расположены в соответствующих блоках.

Перечислю приоритетные методы и объясню:

Полевое исследование

Подразумевает наблюдение за пользователями в привычных для них условиях.

Например, мы проводили такое исследование в магазинах электроники сети «Алло», наблюдали, как ведут себя покупатели, выбирая мобильные телефоны. Многие интересовались мощностью процессоров и пикселями камеры. Было очевидно, что модель поведения повторится, поэтому на сайте мы выдели эту информацию на карточках товаров.

Исследование фокус-групп

Для опроса собирается группа людей, которая относится к какому-нибудь сегменту вашей целевой аудитории.

Глубинное интервью

В индивидуальном формате, коммуникация максимально приближенная к живому общению.

Необходимо провести порядка 15-20 таких интервью, чтобы узнать о предыдущем опыте потребителей, их ожиданиях от продукта, сценариях действий, страхах и мотивациях.

Карточная сортировка

Помогает организовать навигацию маркетплейса, разделить его на сегменты и расставить приоритеты.

Дизайнер должен создать приблизительный «маршрут» по сайту (customer journey map): такое распределение информации, которое будет вести пользователя к его конечной цели — покупке. Планирование маршрутов упрощает задачу потребителя, а значит, повышает эффективность проекта.

Тестирование концептов

Показ респондентам экранов на уровне концепции (скетчи, вайерфреймы); помогает понять, как пользователи относятся к дизайн-решению и предложенному функционалу.

Обратная связь от пользователей позволит получить новые инсайты на основе их опыта. Чем раньше проводится тестирование, тем дешевле исправить ошибки. Метод недостаточно объективный — низкая детализация, нет реального прототипа.

Юзабилити тестирование

Наблюдение за пользователем во время выполнения задач, поставленных модератором, в продукте или прототипе.

Помогает определить около 80% проблем за 5-8 сессий для сегмента. Дает понимание ожиданий, мотивации, страхов пользователей при выполнении задачи. Тестирование можно провести в интерактивном формате.

A/B тестирование

Внедрение решений и сравнение с оригиналом.

Один из главных инструментов количественного тестирования. Дает ответ на вопрос, что пользователи делают, но не объясняет, почему. Лучше тестировать небольшие изменения за раз. Если сделать кардинальные изменения, будет непонятно, что привело к результату. Для проведения тестирования нужна достаточно большая аудитория (от 500-1000 посетителей в день).

Проведение исследований существенно облегчат такие вспомогательные средства, как анкетирование аудитории, анализ кликов и eye-tracking.

Что делать, если нет продукта, бюджета или компетенции

Нет продукта или продукт в стадии разработки:

тестировать прототип;
тестировать решения конкурентов;
проводить интервью, опросы, полевые исследования;
создать MVP и собрать статистику;
изучить статистику конкурентов.

Нет бюджета или времени:

коридорные тестирования (guerrilla testing — 5 seconds test);
уменьшить итерации (lean, MVP);
провести полноценное исследование за свой счет (опыт и знания);
использовать данные статистики и A/B тестов.

Не хватает компетенции:

отдать на outsource в агентство (недостаточное погружение и высокая цена);
провести исследования за свой счет (учиться на ходу);
привлечь временно специалиста по UX исследованиям.

Для вдохновения видео о том, как можно провести юзабилити-тест с помощью обычных карандашей.