6. Оформление анкеты

6.1 Что говорится в стандарте

В стандарте нет специальных указаний по технике оформления анкеты. Некоторая информация об оформлении анкеты содержится в разделе «Контроль и измерение», в котором в пункте 8.2.1 «Удовлетворенность потребителя» говорится:

В качестве одного из измерений характеристик системы управления качеством организация должна контролировать информацию, связанную с восприятием потребителя того, как организация удовлетворяет его запросы. Должны быть определены методы получения и использования этой информации.

В этой краткой цитате из стандарта имеется два указания. Первое состоит в том, что организация должна измерять, удовлет­воряет ли она запросы потребителей, и это, в свою очередь, имеет два следствия для оформления анкеты. Первое следствие было описано в главе 3, где нами было установлено, что для того чтобы определить, удовлетворяются ли запросы потребителей, задаваемые вопросы должны быть сконцентрированы вокруг основных их запросов. Они определяются с помощью поискового исследования, используя «точку зрения потребителя». Если используется «точка зрения организации», то администрация задает те вопросы, которые она сама хотела бы осветить, и исследование не даст меры удовлетворенности запросов потребителей. Второе следствие состоит в том, что анкета должна учитывать обе сто­роны проблемы, установленные в нашем определении удовлетворенности потребителя: важность запроса и степень его удовлетворения, иначе мы никогда не сможем с достаточной надежностью узнать относительную важность запросов потребителей.

Второе указание, содержащееся в пункте 8.2.1, заключается в словах «восприятие потребителя». Собираемая и контролируе­мая информация вовсе не обязательно будет отражением реаль­ных характеристик организации. Это будет восприятием потреби­телей этих характеристик. Восприятие потребителей — не всегда справедливое и точное, но это — та информация, на которой по­требители основывают свои суждения и будущий выбор постав­щика. Поэтому понимание восприятия потребителей является тем полезнейшим фактором, который необходимо проверять. Это означает, что объективное исследование потребителей является единственным способом сбора этой информации, и что анкета должна быть направлена на выявление мнений потребителей, и при этом не должно предприниматься попыток влияния на потребителя, например, предоставляя ему информацию о реальных характеристиках организации.

6.2 Компоновка анкеты

Оформление анкеты — компоновка

Образцы анкет, охватывающих все аспекты их оформления, объясняемые в данной главе, приведены в приложениях в конце этой книги. Первое, что нужно наметить, — это общая компоновка; возникающие при этом ключевые проблемы показаны на рисунке 6.1.

6.2.1 Длина анкеты

Если вы оформляете заполняемую анкету или готовите ее для проведения интервью, то 50 вопросов — это хороший ориентир для максимальной ее длины. При этом каким бы ни был тип проводимого исследования, потребуется от десяти до пятнадцати минут для заполнения анкеты. Допустимы некоторые различия в формулировках, и это будет разъяснено далее. При оформлении анкеты на бумаге ее можно разместить либо на двух страницах, либо растянуть на четыре. Опыт показывает, что хотя, вообще-то, желательно иметь короткие анкеты, однако при четырехстраничной анкете достигается больший процент ответов и лучшее их качество, потому что анкета в этом случае выглядит более привлекательно, в ней легче ориентироваться, ее легче понять и заполнять. Некоторые респонденты никогда не станут заполнять анкету, напечатанную мелким шрифтом или выглядящую неразборчивой, поскольку она им представляется трудной для заполнения.

6.2.2 Разделы анкеты

Следующий этап — разделение 50 вопросов по разделам. От­правной точкой является перечень наиболее важных запросов потребителей, определенных во время поискового исследования, и их необходимо оценить по степени важности и удовлетворенности. Точное количество вопросов, которое вы включите из поискового исследования, будет зависеть от того, сколько дополнительных вопросов вы хотите задать. Большинство дополнительных вопросов будет использовано для классификации респондентов, но может оказаться, что несколько вопросов, которые вы хотите задать, ничего общего не имеют с удовлетворенностью потребите­лей. Если вы включаете 20 запросов потребителей из поискового исследования, у вас окажутся использованными 40 вопросов, так как каждый запрос должен быть оценен по степени важности и удовлетворенности. Если вы исследуете запросы, получившие низкие оценки и запрашиваете комментарии, объясняющие каждую из них, то в результате возникнет в среднем три дополнительных вопроса на респондента. Скорее всего, вам понадобится четыре или пять вопросов для классификации респондентов, и остается два или три вопроса для исследования других тем.

Следует противостоять попыткам сокращения количества контролируемых запросов потребителей с целью задать большее количество дополнительных вопросов. Ведь вы проводите исследование удовлетворенности потребителей, и именно это должно оставаться в центре внимания. Если вы пытаетесь решить слишком много задач с помощью одного исследования, то, скорее всего, вы как следует не решите ни одной. Разделы анкеты, а также руководство по количеству вопросов в каждом разделе, приведены на рисунке 6.2. Более детальные пояснения по некоторым разделам даны ниже.

6.2.3 Указания

Первое, что респондент увидит в анкете, — это указания, и они должны быть абсолютно четкими. Если имеется возможность заполнить анкету неправильно, то можете быть уверены, что часть респондентов сделает это. Таким образом, ваши указания должны быть очень четкими, даже если это займет довольно много места. Примеры указаний можно найти в образцах анкет, приведенных в приложениях в конце книги.

6.2.4 Вопросы по удовлетворенности и степени важности

Запросы потребителей должны быть отражены в двух отдельных разделах, связанных с удовлетворенностью и важностью. Заманчиво, но неверно отражать обе характеристики — удовлетворенность и важность — по одному запросу до перехода к следующему. При использовании такого подхода вы получите не соответствующую действительности корреляцию между оценками важности и удовлетворенности по каждому запросу. Поэтому для важности и удовлетворенности должны быть использованы отдельные разделы, но в каком порядке? Несмотря на то что об­щепринято начинать с вопросов из раздела важности, наши эксперименты, проведенные в компании «Фактор лидерства», показывают, что лучше начать с оценок удовлетворенности, так как это позволяет респондентам ознакомиться со всеми запросами до того, как им предлагают оценить их важность. Когда раздел важности следует после раздела удовлетворенности, обычно получают более широкий диапазон оценок важности, что обеспечивает большие возможности отбора на этапе анализа. Оценки удовлетворенности мало зависят от того, задаются ли вопросы этого раздела до вопросов о важности или после них.

Таким образом, вы должны перечислить запросы и прежде всего получить оценки степени их удовлетворения. Затем вы должны исследовать все запросы с низкими оценками (эффективно только для интервью, но не для заполняемых анкет) до того, как перечислить их вновь для оценки их важности. Но в каком порядке эти запросы должны быть перечислены? Строго говоря, они должны быть перечислены в случайном порядке и, строго говоря, для каждой анкеты этот порядок должен устанавливаться отдельно, на том основании, что более ранние вопросы могут повлиять на отношение респондентов к более поздним. Поэтому для действительно точных исследований порядок вопросов должен меняться.

Однако не стало общепринятой практикой печатать десять различных вариантов анкеты для исследования потребителей, в котором бы вопросы менялись местами. В реальной жизни большинство коммерческих исследований осуществляется с одним и тем же порядком вопросов в каждой анкете. При решении вопроса об очередности вопросов в анкете возможны два варианта. В первом эта очередность основывается на той последовательности событий, с которой потребитель обычно сталкивается при взаимодействии с вашей компанией, и этот вариант хорош для однократных событий, подобных получению залога или заявления о страховании. Однако для многих организаций, осуществляющих непрерывное взаимодействие с потребителями, включающее разнообразные контакты по различным проблемам в различное время, использование последовательности событий для определения очередности вопросов не работает. В такой ситуации лучше группировать вопросы по тематике, объединяя вопросы по качеству — в одну группу, вопросы по доставке — в другую и т.д.

6.2.5 Вопросы по классификации

Вопросы по классификации должны находиться в конце анкеты. Некоторые люди могут почувствовать себя обиженными неуместными, как им кажется, вопросами о возрасте, занимаемой должности или доходе, так что всегда лучше, чтобы на вопросы по классификации респонденты отвечали после того, как они ответили на другие вопросы. Единственное исключение — это выборки на основании квот, когда респонденты должны быть классифицированы до их участия в исследовании.

6.2.6 Проблема внешнего вида

Этот совет применим только к заполняемым анкетам, которые должны выглядеть профессионально и привлекательно оформленными. Мы уже говорили, что компоновка анкет должна быть просторной и привлекательной, даже если это потребует большего количества страниц. Можно также использовать цветность. Даже двухцветная анкета может выглядеть гораздо привлека­тельней, поскольку полутона могут быть очень эффективно использованы для пояснений и дифференциации.

6.3 Формулировки анкеты

На рисунке 6.З приведена контрольная таблица. Вы можете сравнить вашу анкету с этой таблицей и проверить, не нарушено ли в ней какое-либо из перечисленных правил для формулировок.

Рис. 6.3 Формулировки вопросов

6.3.1 Осведомленность отвечающих

Прежде всего, необходимо определить, обладают ли респонденты теми знаниями, которые дают им возможность отвечать на ваши вопросы. Дело в том, что отсутствие таких знаний их не остановит! Людям свойственно думать, что они имеют право на свое суждение о различных вещах. Допустим, вы спрашиваете пассажиров в аэропорту об их точке зрения на различия между полетом в экономическом классе и бизнес классе. Многие люди будут отвечать на этот вопрос, даже если они никогда не летали в бизнес классе. Это не является проблемой, если вы хотите понять восприятие пассажирами экономического класса путешествия бизнес классом, но это приведет к очень неверным выводам, если пытаетесь понять реальные ощущения пассажиров бизнес класса. Таким образом, если вам нужны только те люди, которые летали бизнес классом, то вам необходимо провести классификацию респондентов до включения их в исследование.

Сходная проблема возникает, когда опыт респондентов в отношении характеристик вашей организации распространяется не на все исследуемые запросы. Например, исполнительный директор может не обладать информацией о параметрах вашей организации, характеризующих своевременность доставки. Чтобы избежать неверных оценок от неверно информированных членов администрации, вы должны ясно указать на возможность использования графы «не применимо» для каждого из вопросов об удовлетворенности. Нет необходимости предлагать графу «не применимо» для оценок важности, поскольку респонденты будут иметь точку зрения на относительную важность каждого запро­са, включая те, в которые они лично не вовлечены.

6.3.2 Отсутствие двусмысленных вопросов

Второе, что нужно проверить, — понимают ли респонденты вопросы или, более точно, придают ли они вопросу тот же смысл, что и автор анкеты. Здесь имеется несколько возможных проблем, часто связанных с тем, что слова, которые мы удачно используем в повседневной речи, несут потенциальную опасность, если их использовать в анкетах, поскольку они недостаточно точны. Соответствующий пример изображен на рисунке 6.4.

Что в точности означает слово «регулярно»? Когда ответы на этот вопрос будут анализироваться, то о чем они будут свидетельствовать? «Регулярно» может означать что угодно, от каждого дня до одного раза в год. При составлении формулировок вопросов вы должны быть предельно точными, можно даже сказать педантичными. Вы не можете себе позволить ни малейшей двусмысленности, иначе по завершении заполнения анкет вы можете обнаружить, что результаты вашего исследования оказались бессмысленными. Так что вопрос относительно газет должен быть сформулирован так, как показано на рисунке 6.5

Рис. 6.5 Точные вопросы

6.3.3 Отсутствие жаргона

Другая причина непонимания респондентом вопросов заключается в использовании незнакомых слов. Каждый знает о том, что не рекомендуется использовать жаргон, но большинство людей недооценивают то, до какой степени могут быть для потребителей жаргоном те слова, которые они постоянно используют на работе при общении со своими коллегами. Это, безусловно, еще одна очень важная причина для проведения поискового исследования, потому что в результате его проведения вы сможете использовать терминологию потребителя, а не свою собственную. Это же касается и технических наименований, ведь даже такие слова, как оборудование и удобство могут быть поняты двусмысленно и неверно интерпретированы.

6.3.4 Отсутствие двойных вопросов

Двойные вопросы — очень частая причина недоразумений и неэффективных результатов исследования. Наиболее общий пример из анкеты:

Где персонал дружелюбен и полезен?

О какой характеристике вы хотите узнать?

Дружелюбие и полезность — не одно и то же, не так ли?

Если по этому пункту выставлены низкие оценки, свидетельствуя о неудовлетворенности потребителя, то как организация узнает, что нужно изменить, чтобы ввести ход дел в нормальное русло? Если вы хотите исследовать оба этих аспекта поведения персонала, то вы должны задать два вопроса.

6.3.5 Отсутствие тенденциозных вопросов

Возможно, важнейшей проблемой при формулировке вопросов в анкете является угроза того, что сама анкета станет причиной тенденции в ответах. Имеется две причины, по которым это мо­жет произойти. Во-первых, это сам вопрос, и, во-вторых — шкала оценок. Типичные вопросы при исследовании удовлетворенности потребителя могут быть такими:

Насколько вы удовлетворены разнообразием блюд в меню?

Насколько вы удовлетворены быстротой оказания технической помощи на месте?

Насколько вы удовлетворены надежностью продукции?

Каждый из этих вопросов вносит элемент тенденции, которая может исказить результаты, и эта проблема связана с первой частью вопроса:

Насколько вы удовлетворены...?

В самом вопросе содержится предположение, что потребитель удовлетворен. Вопрос только в том, насколько. Для исключения этой тенденции и обеспечения того, что исследование дает точ­ную меру удовлетворенности потребителя, эти вопросы должны формулироваться следующим образом:

Насколько вы удовлетворены или не удовлетворены разнообразием блюд в меню?

Насколько вы удовлетворены или не удовлетворены быстротой оказания технической помощи на месте?

Насколько вы удовлетворены или не удовлетворены надежностью продукции?

6.3.6 Отсутствие тенденциозной шкалы оценок

Другой частью вопроса, которая может вызвать тенденцию, является шкала оценок. Тенденциозную шкалу оценок обычно можно найти во многих анкетах по исследованию удовлетворен­ности потребителя, как это показано на рисунке 6.6.

Шкала, изображенная на рисунке 6.6, — не сбалансирована и может вызвать тенденцию в сторону удовлетворенности. Большинство шкал оценок, имеющих смещение в положительную сторону, появляется в анкетах из-за того, что их составители забывают об этой проблеме.

Пожалуйста, прокомментируйте качество обслуживания, отметив один из квадратов на каждой строке.

Рис. 6.6 Шкала оценок с положительной тенденцией

Однако некоторые компании, имеющие большой опыт в проведении ИУП, намеренно используют анкеты с положительным смещением на том основании, что имеет ценность только высшая удовлетворенность, поэтому имеет смысл измерять только удовлетворенность. Нам кажется, что у такой философии есть два слабых места. Во-первых, даже если большинство потребителей очень удовлетворены, тем не менее важно понять степень неудо­влетворенности наименее удовлетворенной части потребителей и до какой степени эту проблему вызывают их личные качества. Во многих отношениях для организации более ценным является определение и фиксирование в деталях проблемных областей, чем получение детальной информации о том, насколько удовлетворены наиболее удовлетворенные потребители. Второй аргумент против использования оценочных шкал с положительной тенденцией состоит в том, что это просто не нужно. Если у вас есть достаточное количество точек на шкале, вы сможете распределить степени удовлетворенности и неудовлетворенности в равных пропорциях, как показано на рисунке 6.7.

Рис. 6 .7 Сбалансированная шкала оценок

На рисунке 6.7 изображена сбалансированная шкала, потому что она имеет равное число точек, лежащих выше и ниже средней точки, и, что очень важно, формулировки, соответствующие противоположным точкам, имеют точно противоположное значение. Наличие или отсутствие средней точки не влияет на сбалансированность шкалы. Строго говоря, шкала должна иметь среднюю точку на том основании, что неправильно при проведении исследования принуждать кого бы то ни было высказывать мнение, которого он не имеет. Например, интервьюер может подойти на улице к людям и спросить их:

За кого вы будете голосовать на ближайших выборах?

Некоторые ответят: Не знаю.

Если интервьюер принуждает респондента дать определенный ответ, и респондент, чтобы завершить интервью, называет какую-то политическую партию, то такое исследование будет неприемлемым. «Не знаю» — вполне адекватный ответ.

Так что, строго говоря, у вас доллсна быть средняя точка, но вы не должны беспокоиться о том, что все отметят именно ее. Это — миф, что все стараются сделать средний выбор, будто этот выбор самый простой, не заставляющий думать. Они будут стараться отметить именно то, что соответствует их мнению, и вы получите ряд различных ответов. Верно то, что респонденты стараются избегать крайних оценок. Так что если ответы труппируются вокруг середины, то это может быть не из-за того, что респонденты в своих ответах стремятся к средним оценкам, а вследствие того, что они стараются избежать крайностей. Конечно, может возникнуть проблема при использовании шкалы из пяти пунктов, поскольку если некоторые респонденты избегают крайних оценок, то у них остается для выбора только три пункта. Тем не менее при выборе подходящей шкалы оценок нужно учитывать множество факторов, и эти факторы рассматриваются в следующем разделе.

6.4 Шкалы оценок

Третий ключевой аспект оформления анкеты —- это шкала оценок, и поскольку ИУП связано с измерением удовлетворенности, а шкала оценок является инструментом, используемым для этого измерения, она является очень критическим элементом. Три наиболее часто используемые шкалы при исследованиях удовлетворенности потребителя — это шкала Лайкерта, словесная шкала и цифровая шкала. Шкала Лайкерта и словесная шкала похожи тем, что обе они используют слова для описания пунктов шкалы. Цифровая шкала, как ясно из названия, использует цифры. На рисунках с 6.8 по 6.10 даны примеры каждой из шкал.

6.4.1 Шкала Лайкерта

Рис. 6.8 Шкала Лайкерта

Часто используемая при различных исследованиях мнений, шкала Лайкерта проста для заполнения, но имеет существенный недостаток, связанный с тем, что предлагаемые фразы могут вы­звать тенденцию в ответах респондентов. Шкалы Лайкерта в анкетах всегда имеют положительную тенденцию. Вы очень редко увидите негативную тенденцию в шкале, использующую отрицательные примеры («Ресторан был грязным... согласны — не согласны»). Тенденция еще больше проявляется в вопросах о важности, когда респонденту активно внушается: «Важно, что...*

6.4.2 Словесная шкала

Анкеты, использующие словесные шкалы, просты в заполнении и имеют то преимущество, что они содержат измеряемые параметры (важность и удовлетворенность) внутри шкалы, уменьшая риск путаницы. Поскольку словесная шкала является наиболее простой и ясной, она, как правило, заполняется аккуратно и с наименьшим числом ошибок. Составление отчетов по словесным шкалам с подсчетом «процента удовлетворенности» (т. е. процента анкет с отмеченными первыми двумя квадратами) может скрыть изменения удовлетворенности потребителя, вызванное объединением в одно целое оценок из двух разных категорий — «удовлетворен» и «не удовлетворен». На самом деле, если результаты обрабатываются таким образом, то нет смысла иметь более двух пунктов на шкале — «удовлетворен» и «не удовлетворен».

Статистически не приемлемо преобразовывать пункты словесной шкалы в числа и получать средние значения этих чисел. Это вызвано тем, что шкалы словесного типа — порядковые по своей функции. Они дают порядок от хорошего до плохого или от удовлетворенности до неудовлетворенности, без определения количественной меры. Другими словами, мы знаем, что «решительно согласен» — лучше, чем «согласен», но мы не знаем — насколько лучше. Также мы не знаем, равна ли дистанция между «решительно согласен» и «согласен» дистанции между «согласен» и «ни да, ни нет». Поэтому словесные шкалы должны анализироваться с использованием частотного распределения, при котором просто подсчитывается, сколько респондентов отметили каждый квадрат. Статистически не приемлемо использовать средние значения и стандартные отклонения или применять многомерные статистические методы для установления взаимосвязи между переменными в наборе данных. Это делает невозможным прямое сравнение по степени важности и удовлетворенности, если только пункты категорий не сгруппированы, например, следующим образом: процент респондентов, отметивших квадраты «очень удовлетворен» и «удовлетворен», по сравнению с процентом, отметивших квадраты «очень важно» и «важно». Как сказано ранее, из-за потенциально большого разнообразия в распределении оценок внутри каждой категории, такие результаты могут не давать надежной картины.

Рис. 6.9 Словесная шкала

Рис. 6.10 Цифровая шкала

6.4.3 Цифровая шкала

Цифровые шкалы легко заполнять — так же легко, как и словесные шкалы. В отличие от многих других шкал, цифровые шкалы могут быть использованы независимо от метода сбора данных. Словесные шкалы очень неудобны при телефонных интервью.

Очень сильным аргументом в пользу цифровых шкал является их удобство для анализа и, что очень важно, для сообщения результатов коллегам в вашей организации. Простые вычисление средних значений оценок, выставленных по десятибалльной цифровой шкале, упрощают понимание результатов и их последствий. Непосредственное сравнение со средними оценками важности дает более ясную картину областей, требующих внимания, по сравнению с гораздо менее наглядными частотными распределениями, которые должны использоваться для соответствующего статистического анализа шкал словесного типа. Это — чрезвычайно важный фактор в пользу применения цифровых шкал в анкетах ИУП, поскольку там, где процедура ИУП провалилась, причиной этого для многих организаций была именно плохая внутренняя обратная связь. Просто там недостаточно хорошо понимались в масштабах всей компании те области, на которых должны быть сосредоточены усилия по улучшению обслуживания. Обладание ясными и простыми результатами исследования, которые весь персонал сразу понимает, — хорошая стартовая точка борьбы за сердца и души потребителей.

Цифровые шкалы можно расширять. Обычно они содержат 5, 7 или 10 пунктов. Непрактично иметь много пунктов в словесной шкале, и это является их существенным недостатком, поскольку различия в результатах исследований, проведенных в различные периоды времени могут быть очень небольшими. Более широкая шкала позволяет респонденту быть более избирательным, осо­бенно в верхней части шкалы удовлетворенности, что важно, поскольку, если обслуживание становится конкурентоспособным, то именно очень удовлетворенные респонденты будут, скорее всего, давать рекомендации и останутся лояльными.

Большее количество пунктов также дает большее разнообразие, что лучше для процесса анализа по двум главным причинам. Во-первых, шкалы с большим количеством пунктов позволяют лучше сделать разграничение между хорошими и плохими исполнителями, что приносит больше пользы руководителям при принятии решений и отслеживании их результатов. Во-вторых, легче определить «ковариацию» между двумя переменными с большей дисперсией (т. е. разбросом относительно их среднего значения). Ковариация — критическая величина при разработке надежных моделей, таких как модели, определяющие механизмы удовлетворения потребителя (см. главу 7).

Образцы анкет с использованием 10-балльной цифровой шкалы приведены в конце книги. В приложении Б дан пример заполняемой анкеты, а в приложении А — пример анкеты для телефонного интервью.

6.5 Выводы

(а) Стандарт ИСО 9001: 2000 устанавливает, что организация должна измерять «восприятие того, удовлетворяет ли организация запросы потребителя». Это означает, что вопросы должны основываться на основных запросах потребителей, определенных с помощью поискового исследования, и: что организация должна отслеживать мнения потребителей о своей деятельности. Хотя это восприятие может не соответствовать действительности, оно будет формировать основу решения потребителя при выборе поставщика.

(б) Аакста должна содержать не более 50 вопросов и в случае за­полняемой анкеты должна быть размещена на четырех страницах, а не втиснута в две.

(в) Удовлетворенность и важность должны оцениваться в двух различных разделах, причем оценка удовлетворенности должна проводиться сначала.

(г) При низкой оценке удовлетворенности нужно более детально исследовать причины такой оценки.

(д) Вопросы, связанные с классификацией, должны находиться в конце анкеты.

(е) Для максимизации надежности ответов потребителей, им должна предлагаться возможность ответа не применимо для тех областей, в которых у них нет достаточного опыта или знаний. Если необходимо, проведите оценку респондентов на возможность их включения в исследование до начала интервью.

(ж) Для избежания двусмысленности и недоразумений формулировки анкеты должны быть очень точными и свободными от жаргонов.

(з) Необходимо избегать двойных вопросов.

(и) Исследователи должны сознавать риск тенденции, вызывае­мой несбалансированными вопросами и использованием несбалансированных оценочных шкал.

(к) Цифровые оценочные шкалы наиболее предпочтительны при измерении удовлетворенности потребителя, потому что они обладают большим аналитическим потенциалом и с ними легче довести до сведения сотрудников результаты исследования.

(л) Шкалы с большим числом пунктов лучше, чем с меньшим их числом, потому что они обладают большей различительной способностью, а изменения в удовлетворенности потребителя обычно малы. Рекомендуется 10-балльная оценочная шкала.