Книги как составить опросник - Сайт, где вы сможете решить свои вопросы

Личностные
опросники – широко используемые
методики измерения личностных качеств,
поскольку они могут разрабатываться
так, что им будут присущи многие
атрибуты эффективных тестов: надежность,
дискриминативность и стандартизованность.
Однако, в силу природы личностных
переменных, труднее всего бывает
установить валидность именно этих
методик.

Проблемы
конструирования личностных опросников

Как и в случае тестов способностей,
качество отдельных заданий (вопросов,
утверждений) является определяющим
для всего опросника, и поэтому в данной
главе будут рассматриваться трудности,
возникающие при формулировании
заданий, а также преимущества различных
типов заданий.

При разработке
заданий для личностных опросников
необходимо учитывать следующие
проблемы, которые, если их не обойти,
неизбежно приведут к низкой валидности
тестов.

(1) Установка на согласие
(response set of acquiescence). Это тенденция
испытуемого соглашаться с утверждениями
или отвечать на вопросы “да”
независимо от их содержания. Чаще
всего проявляется, согласно Guilford
(1959), когда утверждения (вопросы)
неоднозначны и неопределенны.

(2)
Установка на социально одобряемые
ответы (response set of social desirability). Это
тенденция испытуемых отвечать на
вопросы теста так, чтобы выглядеть
“социально положительным”: если
возможен “социально желательный”
ответ, то весьма вероятно, что испытуемые
будут его давать. Эта установка, как
показал Edwards (1957), оказывает, в частности,
влияние на результаты теста ММРI
(Minnesota Multiphasic Personality Inventory).

(3)
Установка
на
неопределенные
или
средние
ответы
(response set of using the uncertain or middle category). Если
в опроснике представлена средняя
категория ответов, отражающая
нерешительность или неуверенность в
ответе (напр., “не уверен”, “не
знаю”, или “затрудняюсь ответить”),
то многие испытуемые склонны к ней
прибегать, как к безопасному компромиссу.
Это приводит к снижению валидности
заданий, поскольку большинство методов
анализа вопросов основывается на
крайних значениях показателей.

(4)
Установка на “крайние” (расположенные
по краям шкалы) ответы (response set of using
the extreme response). Эта установка может
проявляться при использовании
многоэлементной рейтинговой шкалы.
Некоторые испытуемые, независимо от
содержания вопросов, предпочитают
выбирать крайние ответы (Vernon, 1964).

(5)
Очевидная валидность (face validity) вопросов
(утверждений). Несомненно, в тестах
личности необходима уверенность в
том, что ответы на вопросы могут
рассматриваться как правдивые. Cattell
и Kline (1977) рассматривают данные опросника
как данные Q и Qi. Данные из первого
множества рассматриваются так, как
если бы они отражали поведение
испытуемого, данные из второго – как
ответ на отдельный вопрос, ответ,
который либо нагружен некоторым
фактором, либо нет, независимо от того,
отражает ли он поведение испытуемого.

(6) Выборка из генеральной
совокупности вопросов. В тестах
интеллекта и специальных способностей,
обсуждавшихся в предыдущей главе,
относительно легко убедиться в том,
что задания принадлежат или с высокой
степенью вероятности выглядят
принадлежащими к подразумеваемой для
них генеральной совокупности.
Лингвистические задания нелегко
перепутать с математическими или
какими-либо другими. Однако, в области
особенностей личности и темперамента
все гораздо сложнее.

В самом деле,
иногда даже опытные и искусные
разработчики вопросов (например,
Cattell, 1957) бывают удивлены тем, что
вопросы нагружены не теми факторами,
для выявления которых они были созданы,
а также тем, что вопросы вообще не
нагружены ни одним из факторов. Эта
проблема с точки зрения классической
теории тестов состоит в трудности
определения конкретной выборочной
совокупности вопросов. В результате
возникает проблема подбора адекватной
выборки из выборочной совокупности
вопросов или утверждений для теста,
а без этого тест не может быть валидным.

(7) Выборка из генеральной
совокупности испытуемых. Как указано
выше, в личностных тестах труднее
обеспечить адекватность выборки из
выборочной совокупности, чем в тестах
способностей. При использовании тестов
способностей обычно известна вполне
определенная категория лиц (популяция),
для которой данный тест предназначен,
и таким образом, по крайней мере в
принципе, можно эффективно подбирать
выборки. Однако, в личностных тестах,
в отличие от тестов, разрабатывающихся
для испытуемых с той или иной патологией,
в идеале нужны выборки из общей
популяции (т.е. всего населения страны),
в которой встречаются все возможные
показатели. Такие выборки, как показано,
должны быть большими, и их обычно
трудно получить.

(8) Проблемы в
установлении адекватного критерия
валидности. Существует, как уже подробно
обсуждалось в разделе о валидности,
значительная трудность в нахождении
адекватного критерия. Например, если
мы пытаемся измерить авторитаризм,
то будем вынуждены полагаться на
рейтинги, поскольку нет никаких других
внешних мерил (в отличие от, например,
школьных экзаменов в случае диагностики
способностей). Рейтинги – это неадекватный
инструмент, а если бы они подходили,
тест был бы не нужен. Аналогично, если
существуют высокоэффективные тесты
авторитаризма, которые могут быть
использованы в качестве критерия
валидности, вероятно, в новом тесте
нет необходимости.

Таким образом,
мы вынуждены ограничиваться
исследованиями конструктной валидности,
обычно основывающимися на мультивариативном
анализе разрабатываемого теста по
сравнению с другими переменными, а
также исследованиями специальных
групп, имеющих по предположению
контрольные показатели по рассматриваемой
переменной.

Таковы основные
сложности, возникающие при конструировании
личностных опросников, и следует
отчетливо их себе представлять, прежде
чем вы приступите к формулированию
вопросов или утверждений. Две последние
проблемы, хотя они и являются
определяющими, выходят на первый план
уже после того, как подобраны задания
теста.

Формулирование
вопросов (утверждений ) для личностных
опросников

Практически нет необходимости
особо говорить о том, что для тестов
личности имеет большое значение то,
чтобы ответы на вопросы могли быть
объективно и с высокой надежностью
оценены. Следовательно, мы должны
сделать это возможным путем разработки
формы вопросов. Ниже приведены формы
вопросов, используемых в наиболее
известных опросниках – тех, которые
оказались наиболее эффективными на
практике.

(1) Вопросы с ответом
типа “да-нет”. Такие вопросы
использовались автором этой книги в
разработанных им тестах личности,
AI3Q (Kline, 1971), OOQ и OPQ (Kline and Storey, 1978). Их
легко формулировать, они понятны
испытуемым и ответы на них даются
быстро. Такова форма вопросов личностных
тестов Айзенка. Типичный дихотомический
вопрос: “Любите ли вы загорать на
пляже?”

(2) Вопросы с ответами
типа “да-?-нет”, “да-затрудняюсь
ответить – нет”. Это вариант вопросов
типа “да-нет”, описанных выше, с
добавлением категории неопределенности,
потому что некоторые испытуемые
становятся раздражительными к
несговорчивыми, если их заставляют
отвечать либо “да”, либо “нет”
на вопросы, в ответах на которые они
не очень уверены.

Трудность с
такими вопросами состоит в том, что
эта “средняя” категория очень
привлекательна для испытуемых и редко
бывает информативной. Bendig (1959) показал
это на примере теста МРI (Maudsley Personality
Inventory – ранней версии EPI, Eysenck Personality
Inventory), в котором не делалось различие
между дихотомической и трихотомической
формой вопросов, и сделал заключение
о том, что дихотомические вопросы
более предпочтительны, поскольку они
заставляют преодолевать нежелание
делать выбор. С моей точки зрения между
вопросами типа “да-нет” и “да-?-нет”
различие столь невелико, что вопрос
о том, какую форму выберет разработчик
теста, становится не более, чем делом
личного предпочтения. Cattell и его коллега
используют трихотомическую форму для
некоторых из вопросов в своих факторных
тестах личности.

(3) Альтернативные
задания (с ответами типа “правда-ложь”).
Эти задания состоят из утверждений
(часто от первого лица), которые
испытуемые должны отметить как верные
или неверные для них. Примером
альтернативного задания является: “Я
ненавижу втискиваться в переполненный
автобус”. Это форма утверждений,
используемая в ММРI. По существу, она
ненамного отличается от дихотомических
вопросов, хотя формулирование их как
альтернативных утверждений, а не как
дихотомических вопросов, может до
некоторой степени повлиять на языковую
представленность задания.

(4)
Задания с ответами типа “нравится-не
нравится” (одно слово или фраза).
Это весьма оригинальная форма задания,
которая в настоящее время используется
у Grygier (1961) в динамическом тесте личности
(DPI – Dynamic Personality Inventory), тесте, основанном
на шкале личностных предпочтений
Кроута (Krout Personal Preference Scale) (Krout and Tabin,
1954). Примерами таких заданий могут
быть: (1) “фонарщики”; (2) “воротники
из бобрового меха”; (3) “бас-барабан”.
Испытуемые должны указать, нравится
им предложенное или не нравится.
Grygier и Grygier в своем руководстве по DPI
утверждают, что эти задания являются
сугубо проективными по своей природе,
a DPI – это в сущности проективный
опросник. Однако, так это или нет, такие
задания не обязательно должны быть
проективными, и может оказаться, что
это чрезвычайно полезная, хотя и
необычная, форма заданий.

(5) Задания
с рейтинговыми шкалами. Эти задания
состоят из предложений, к которым
прилагаются рейтинговые шкалы. Cornrey
(1970) – наиболее видный исследователь,
использовавший эти задания – отдавал
им предпочтение потому, что в них
преодолеваются трудности, связанные
с коррелирующими дихотомическими
заданиями (см. обсуждение далее, в гл.
6), а также потому, что испытуемым они
кажутся более разумными; нежели
дихотомические задания, хотя и может
проявиться установка на крайние ответы
(см. выше). Cornrey использует две семибалльные
шкалы, крайними значениями которых
являются: “всегда-никогда” и
“определенно да – определенно нет”,
в зависимости от формулировки задания.
Типичным примером может быть: “Мне
нравится бывать с друзьями в кафе:
всегда, очень часто, часто, от случая
к случаю, редко, очень редко, никогда”.
Очевидной проблемой для этой шкалы
является различная интерпретация
индивидуумами терминов частоты.

(6)
Разнообразные трихотомические задания.
В действительности это варианты
трихотомической формы вопроса типа
“да-нет” (тип 1 в данном списке).
Cattell, например, в тесте 16PF использует
эти задания, потому что они более
подходят по смыслу в отношении некоторых
утверждений, чем “да – затрудняюсь
ответить – нет”. Примерами трихотомий
являются: “обычно – иногда – никогда”,
“верно – не знаю – неверно”, “согласен
– не уверен- не согласен “. Эти варианты
предоставляют большую гибкость при
формулировании заданий, чем жесткие
формы типа “да-нет” (дихотомическая)
или альтернативные.

(7) Трихотомические
задания с выбором. Это варианты типа
(6), позволяющие вложить в лаконичную
форму задания почти любую мысль. В них
используются три завершающих предложение
фразы, одну из которых испытуемый
должен выбрать. Вот типичный пример:
“Когда мне нечего делать, я могу:
(а) позвонить другу, чтобы поболтать;
(б) заняться разгадыванием трудного
кроссворда; (в) пойти на джазовый
концерт”. Некоторые разработчики
тестов использовали такие задания
(например, Myers-Briggs, 1962) с двумя, тремя и
более вариантами выбора. Они могут
быть упомянуты как отдельная категория
заданий.

(8) Задания с вынужденным
выбором. В таких заданиях, как уже
говорилось выше, испытуемые принуждаются
к выбору того, какое из (обычно двух)
утверждений более точно применимо к
ним или более верно для них, хотя может
быть и больше вариантов выбора. Однако,
задания с вынужденным выбором включены
в данный список как отдельная категория
не потому, что они концептуально
отличаются от трихотомических заданий
с выбором, а потому, что Edwards ( 1959)
разработал довольно много заданий с
вынужденным выбором, которые были
специально сконструированы в пары,
уравновешенные по тенденции к социально
одобряемым ответам, чем пытался
устранить влияние этой установки.

(9) Другие формы. Основные типы
заданий, описанные в пунктах (1) – (8), –
это те, которые в основном используются
в наиболее известных личностных
опросниках. Все они, с точки зрения
формы (в отличие от содержания), довольно
легко формулируются, для них существует
несколько правил, которые буду
обсуждены, ниже, они лаконичны, наконец,
просты в работе, а также для подсчетов.

Очевидно, возможны и другие типы
заданий) и в Myers-Briggs Type Indicator (MBTI),
например, находим тип заданий, которые
более напоминают проективный тест,
хотя они оцениваются объективно.
Испытуемые должны указать, какое из
пары слов более привлекательно для
них. Вероятно, их лучше рассматривать
как вариант заданий “нравится-не
нравится” (тип 3 в данном списке).

Cattell и др. (1970) используют аналогичные
задания в тесте MAT (Motivational Analysis Test –
тест анализа мотивов), хотя можно было
бы возразить, что это задания объективного
теста, а не теста личности; разработка
объективных тестов описана в главе
4.

Все рассматривавшиеся до сих
пор виды заданий требуют от испытуемых
самостоятельной работы. Испытуемые
должны отвечать настолько правдиво,
насколько возможно, хотя, как я уже
указывал, есть такие методы конструирования
тестов, в которых предполагается, что
это не обязательно. Некоторые задания
в них, хотя по форме и являются такими
же, как в приведенных восьми пунктах,
отличаются по сопровождающим их
инструкциям. Так, в личностном опроснике
Эдвардса (Edwards, 1967) испытуемые должны
отвечать на вопросы заданий так, как
будто они смотрят на себя со стороны
(как они полагают, другие видят их).
Это, как можно надеяться, устраняет,
по крайней мере частично, тенденцию
к социально положительным ответам.

Хотя есть и другие типы заданий,
используемых в личностных опроскиках,
нет никакого сомнения, что среди
приведенных восьми типов можно найти
задания, хорошо апробированные в
практике тестирования личности. Более
того, фактически нет такого содержания,
которое не могло бы быть эффективно
сформулировано в виде задания одного
из этих типов.

Правила
для формулирования заданий

Итак,
у нас есть перечень типов заданий,
приведенных выше, и теперь следует
обсудить некоторые приемы, принятые
разработчиками тестов с целью преодолеть
описанные выше проблемы.

Большинство
из того, что будет сказано, очевидно
и исходит из здравого смысла. Несмотря
на это, изучение многих опубликованных
тестов, а также тестов, используемых
для внутреннего подбора кадров в
крупных организациях, убедило автора
в том, что все это должно быть сказано.
Слишком часто разработчики тестов,
ослепленные блестящей методикой
анализа заданий, забывают о том
определяющем факте, что тест не может
быть лучше (но может быть хуже), чем
его задания. Guilford (1959), личностные
опросники которого были среди первых,
разрабатывавшихся при помощи факторного
анализа (правда, на шкалах, уже хорошо
изученных за сорок лет исследований),
делает несколько предположений,
полезных для разработчиков заданий
в тестах личности. По нашему опыту,
эти правила показали себя как весьма
эффективные.

(1) Устраняйте
возможность проникновения испытуемых
в суть того, что изучается при помощи
данных заданий. Это делается не ради
того, чтобы ввести их в заблуждение,
а потому, что если испытуемые догадаются,
что некоторое задание предназначено
для измерения черты X, то ответы будут
отражать их точку зрения по выраженности
у себя этой черты, а не реальное
положение дел. Представления же
некоторых испытуемых о своей личности
могут быть значительно искаженными.
Как утверждает Guilford (1959), идеальным
было бы оценивать испытуемого по
чертам, о которых он не знает, задавая
ему вопросы о том, что он знает хорошо.

(2) Формулируйте понятные,
недвусмысленные вопросы (утверждения).
Это важно для того, чтобы уменьшить
погрешность, возникающую из-за неверного
понимания вопросов. Высокая надежность
зависит, в известной степени, от этого
качества теста.

(3) Задания должны
отражать конкретные, а не общие аспекты
изучаемой области поведения. Так,
задание вида: “Нравится ли вам
спорт?” – является слишком общим:
термин “спорт” – неопределенный,
как и термин “нравится”. Необходимо
задать более конкретный вопрос: “Вы
играете регулярно в какую-либо
спортивную игру?” или “Вы регулярно
следите за игрой вашей любимой
спортивной команды?”, “Следите
ли вы за результатами скачек?” На
эти вопросы, ответы на которые вряд
ли будут фальсифицировать или
относительно которых реальное поведение
вряд ли изменится, испытуемые будут
отвечать одинаково, когда бы вы их ни
тестировали.

(4) В каждом задании
следует задавать только один вопрос
или делать только одно утверждение.
Рассмотрим пример: “Думаю, следует
заставить черных и представителей
других рас эмигрировать”. Если это
задание предназначено для измерения
расизма, то оно будет плохим. Есть
расисты (такие, как южно-африканские),
которые проводят резкие различия
между черными и людьми других рас.
Другие считают всех, кто не являются
англо-саксами, не относящимися к людям.
Следовательно, некоторые расисты
могут положительно ответить на этот
вопрос, тогда как другие – нет (только
черных следует принуждать к эмиграции).
Более злостные расисты могут быть
готовы оставить черных и представителей
других рас, но видеть их исключительно
в качестве рабов. А, например, немцы,
проживающие в Англии, опять-таки
ответят “нет”, исходя из своей
интерпретации понятия “другие расы”
(см. п. 2 выше). Это задание. явно
бесполезно: у него слишком неопределенная
формулировка и одновременно задаются
два вопроса. Следовало бы дать
утверждение более точно: “Думаю,
следует заставить негров эмигрировать”.
Сейчас оно более понятно (выражение
“черные и представители других рас”
заменено на более точное), и в нем
остался только один вопрос.

(5)
Избегайте, насколько это возможно,
слов, определяющих частоту действий.
Они обычно настолько субъективны, что
вносят большую неопределенность. Это
положение прояснят примеры.

Пример
А. “Часто ли вам снятся сны?” Здесь
все зависит от значения слова “часто”.
Некоторые испытуемые могут испытывать
такое чувство, что видеть сон раз в
месяц – это часто, и ответят на вопрос
утвердительно. Другие могут возразить,
что один сон за ночь – это не часто,
потому что исследования показали, что
людям снятся три-четыре сна за ночь,
и ответят “нет”. Вопрос, таким
образом, становится бессмысленным.
Ответы указывают противоположное
тому, что происходит на самом деле.
Улучшенный вопрос будет звучать:
“Снятся ли вам сны дважды в неделю
или чаще?”

Пример Б. “Испытываете
ли вы иногда беспричинное беспокойство?”
Очевидно, что этот вопрос порождает
ту же проблему, что и предыдущий.
Однако, он еще хуже, поскольку “иногда”
буквально означает “чаще, чем
однажды”. Следовательно, практически
все испытуемые вынуждены, если они
отвечают искренне, ответить на этот
вопрос положительно. Однако, этот
вопрос мог бы быть очень полезным,
поскольку всем известно, что люди
действительно различаются по частоте
беспричинного беспокойства. Дело не
в содержании, а в форме вопроса, которая
не выдерживает критики. Как же можно
более точно сформулировать вопрос, в
котором частота столь существенна? В
улучшенном виде это может выглядеть:
” Испытывали ли вы беспокойство без
особых причин в последние две (четыре)
недели?”

(6) Насколько возможно,
избегайте терминов, выражающих чувства.
Вместо этого, попытайтесь представить
задание в контексте поведения. Это
правило было проиллюстрировано в
пункте (3) выше, в котором задание было
сформулировано более конкретно с
целью повышения надежности при
тестировании по истечении некоторого
времени. Для этого слово “нравится”
было заменено на “играете”. Важным
для нас здесь является то, что испытуемый
без колебаний отвечает, играет он или
нет, а со словом “нравится”
возникает целая проблема. Сообразительные,
высокообразованные, точно выражающие
свои мысли испытуемые могут долго
колебаться в выборе значения этого
слова: “Да, им нравится это, но,
вероятно, “наслаждаться” будет
чуточку точнее; “находить удовольствие”
-да, но…”,-и т.д. Конечно, и для такого
задания, как в вышестоящем пункте (5),
в котором исследуется чувство
беспокойства, эта проблема также
существует. Однако, выражать это
задание в поведенческой форме, например:
” Бьется ли ваше сердце быстро и
пересыхает ли во рту безо всяких
причин?”, кажется слишком искусственным.
Особенность состоит в следующем. Если
только задание может быть сформулировано
так, чтобы неопределенные слова о
чувствах могли быть заменены на
описание поведения, это должно быть
сделано. Когда это невозможно, конечно
же, стоит попытаться составить задания,
в которых описываются чувства. Их
пригодность или непригодность будет
выявлена на этапе анализа заданий.

(7) При помощи инструкций обеспечьте,
чтобы испытуемые давали первые
приходящие на ум ответы. Не позволяйте
испытуемым долго размышлять над
значением заданий. Эффективное задание
личностного теста, которое действительно
имеет отношение к поведению испытуемого,
должно вызвать немедленную и точную
реакцию. В противном случае вероятно,
что задание не выявляет ту область
поведения, которая имеет существенное
отношение к измерению личностных
качеств. Некоторые примеры прояснят
этот момент.

Пример А. “Нравится
ли вам наблюдать за щеглами?” Этот
вопрос у испытуемых, за исключением
орнитологов, не вызовет, вероятно,
ничего, кроме смеха над его очевидной
эксцентричностью. Большинство людей
это просто не интересует.

Пример
Б. “Любите ли вы хлеб с маслом?”
Это явно не эксцентричный вопрос.
Многие испытуемые, по крайней мере на
Западе, где нет недостатка в основных
продуктах питания, не будут испытывать
по этому поводу сколько-нибудь сильных
чувств, воспринимая это как данность.

Пример В (взят из пробных заданий
для разработанного автором теста
А130; Kline, 1971). “Позволяете ли вы вашей
собаке лизать вам лицо?” Это задание
было предназначено для выявления
чистоплотности, и ключевым ответом
для него является “нет”. Очевидно,
те люди, у которых нет собаки, ответят
“нет”, но можно возразить, что
часто чистоплотность не является
причиной отсутствия домашних животных.
К моему удивлению, этот вопрос вызвал
исключительно значимые ответы.
Некоторые индивидуумы, дойдя до этого
вопроса, отказывались вовсе отвечать
на вопросы теста, говоря, что все это
вообще отвратительно; один испытуемый
даже говорил мне, что он никогда не
был так оскорблен, и никогда бы не
допустил подобной мерзости, и тому
подобное в том же духе.

Нет никакого
сомнения, что этот вопрос затрагивает
нечто скрытое и подавляемое. Уместность
вышеупомянутой инструкции к тесту
теперь понятна. Именно первый ответ,
по всей вероятности, является индикатором
определенного личностного качества.
Как только испытуемые начинают
раздумывать над вопросами, включаются
не только защитные процессы, но и
сознательные искажения, такие как
желание произвести впечатление,
угодить экспериментатору,- все это
отрицательно влияет на результаты
теста.

И вот что еще более важно:
многие задания не могут выдержать
критической оценки в основном из-за
вполне оправданного желания
исследователей вложить слишком много
информации в краткую форму задания.
Вот почему особое значение при создании
заданий тестов придается понятности
и конкретности.

Можно было бы
поразмышлять над приведенным выше
примером В, и тогда не было бы никаких
проблем. Некто либо позволяет, либо
не позволяет собаке лизать его лицо.
Нет никаких сложностей в решении того,
что: (а) собака есть собака; (б) что она
именно лижет; (в) и что именно она лижет
– лицо или что-нибудь другое. Однако,
большинство тестов личности не являются
такими однозначными. Между прочим,
стоит отметить, что этот вопрос оказался
неудачным и его пришлось удалить.

Пример Г. “Бывают ли у вас яркие
сны?” Этот пример хорошо иллюстрирует
наше указание. Большинство испытуемых,
вероятно, смогут дать немедленный
ответ – либо “да”, либо “нет”.
Однако, при внимательном рассмотрении
этот вопрос оказывается неприемлемым.
“В конце концов, насколько яркими
могут быть сны? Мои сны кажутся мне
яркими, но это мое субъективное мнение.
Я действительно вижу яркие сны, но я
также иногда вижу несколько однообразные
и серые сны,”- подобные мысли
затрудняют ответы.

Пример Д. “У
вас много друзей?” Как и в первом
примере, на этот вопрос, по размышлении,
чрезвычайно трудно дать точный ответ.
Проблема опять заключается в значении
определенных слов, в данном случае
“много” и “друзей”. С этими
трудностями столкнутся внимательные,
вдумчивые и добросовестные испытуемые.
Они могут рассуждать так: “Думаю, у
меня много друзей, но что значит
“много”? Сколько на самом деле в
среднем друзей имеют люди? Без этой
информации, а также без знания о
разбросе вокруг среднего значения,
невозможно ответить, много их у меня,
или нет.”

Хотя все эти мысли
несомненно правильны, на практике
этот вопрос у многих испытуемых
вызывает автоматический ответ. Слово
“друзья” тоже может породить
проблемы. Испытуемые могут рассуждать:
“Что такое друг, чем он отличается
от знакомого, есть ли вообще какие-либо
различия? Возьмем А, является ли он
мне другом? Некоторым образом, нам
нравится бывать вместе, но если бы он
мне был нужен, он был бы практически
бесполезен. Теперь Б…”,-и так далее.

Из этих примеров понятно, что в
инструкциях необходимо просить
испытуемых выполнять задания настолько
быстро, насколько это возможно. Конечно,
нельзя избежать того, что таким
инструкциям не всегда следуют, и в
исследовании навязчивости, выполненном
автором книги, один из вопросов,
касающийся того, быстро ли испытуемый
решается на что-либо и придерживается
этого решения, ясно показал возможность
многих различных ответов, хотя на него
и отвечали утвердительно “да”.

Это последнее наблюдение подводит
нас к той критике, которая направлена
против личностных опросников, что мы
сейчас и обсудим.

Возражение:
задания личностных опросников по
существу бессмысленны

Это становится очевидным из
приведенных выше примеров Г и Д.
Рассчитывать на то, что
испытуемые-интеллектуалы будут
отвечать быстро, – это не только
оскорбительно для испытуемых (так
утверждает Alice Heim в связи с обсуждением
некоторых тестов интересов; Heim and
Watts, 1966), но более того, у таких испытуемых
появляются серьезные сомнения в том,
что такие задания могут вообще что-либо
измерять.

На эти критические
замечания получен эмпирический ответ:
анализ заданий любого рода показывает,
что наше множество заданий измеряет
однородный фактор, в то время как
исследования валидности демонстрируют,
что же это за фактор. Тот факт, что
задания имеют сомнительное значение,
становится несущественным, если ответы
на эти задания фактически являются
эффективно дискриминативными или
коррелируют с внешним критерием.
Вышеприведенная критика, хотя и может
показаться серьезной, не имеет, таким
образом, большого значения.

Таковы
правила формулирования заданий,
описанные Guilford (1959), и они способствуют
обеспечению того, что подготовленные
вопросы будут обеспечивать решение
тех задач, которые стоят перед ними.
Автору этой книги при конструировании
собственных заданий для личностных
тестов всегда удавалось создать
надежные и, как я полагаю, валидные
методики, когда он следовал этим
правилам. Удалось ли бы ему это без
уже известной нам методологии,
неизвестно.

Устранение
влияния установок на ответ

Кроме
того, что при разработке заданий
следует всегда помнить о вышеперечисленных
правилах, необходимо, конечно, ослабить,
насколько это возможно, влияние
наиболее существенных установок на
ответ. Ниже описано, как это следует
делать.

Установка
на согласие (acquiescence)

Установки на ответы (response sets) были
определены Кронбахом (Cronbach, 1946) как
стилистическая последовательность,
стимулируемая формой ответов на
задания личностного опросника. Как
указывалось ранее, одной из наиболее
существенных является установка на
согласие (см. Messick, 1962), то есть тенденция
соглашаться с утверждением независимо
от его содержания.

Сбалансированные
шкалы

Messick (1962) утверждает, что
сбалансированная шкала – это один из
способов минимизации влияния установки
на согласие. Сбалансированной называется
такая шкала, для которой равное или
примерно равное количество заданий
имеют ключевые ответы “да” или
“нет”, “верно” или “неверно”.

Однако, здесь заслуживают внимания
два момента. Во-первых, сбалансированная
шкала не устраняет полностью тенденцию
: установка на согласие все же может
проявиться, но, как указывает Knowies
(1963), такая шкала не позволит спутать
“соглашающегося” испытуемого с
тем, у кого реально высокие показатели,
а это важно. Конечно, можно возразить,
что “соглашающийся” испытуемый
с потенциально высокими показателями
не будет выявлен при сбалансированной
шкале. Если это происходит чаще, чем
в нескольких отдельных случаях, то
последующее исследование валидности
теста будет обречено на неудачу.

Во-вторых, искажающего влияния
этой установки на показатели по тесту
можно избежать только в том случае,
если будут сформулированы в равной
степени содержательные, недвусмысленные
и побуждающие к определенному ответу
задания, имеющие как положительные,
так и отрицательные ключевые ответы.
Если вы сможете сформулировать лишь
очень небольшое количество заданий
с ключевым ответом “нет”, то эти
задания будут способствовать низкой
валидности шкалы. Несколько примеров
пояснят это.

Пример 1. Рассмотрим
вопрос на экстравертированность: “Вам
нравятся вечеринки?” Обратной формой
этого вопроса будет: “Вам не нравятся
вечеринки?” В этих заданиях
стилистические обороты языка
удовлетворительны, потому что принято
говорить, что вечеринки нравятся или
не нравятся. Они также удовлетворительны,
потому что, как это и случается,
испытуемому с высоким показателем по
параметру экстраверсии нравятся
вечеринки, а испытуемому с низким
показателем – не нравятся. Таким
образом, полярность этих заданий
эффективна. Однако, часто попытка
получить обратную форму вопроса
становится источником ошибок.

Пример
2. Следующее задание было создано,
чтобы выявить удовлетворение, получаемое
от статистики – как утверждают, оно
относится к чертам навязчивости:
“Являетесь ли вы одним из тех людей,
кто находит статистические данные и
таблицы совершенно скучными?” Это
обратная форма вопроса с ключевым
ответом “нет”. Однако, очевидно,
(прежде чем первое испытание теста
показало, что этот вопрос не работает),
можно не считать статистику скучной,
но и не восхищаться ею. Таким образом,
обращение вопросов, когда они относятся
к некоторым крайним проявлениям в
поведении, вероятнее всего не даст
результата в силу континуальности,
лежащей в основе многих ответов на
задания. Обращение вопросов обычно
предполагает дихотомичность ответа.
Другими словами, если ответ на вопрос
является дихотомическим, то обращение
вопроса для сбалансированной шкалы
возможно; если же используются крайние
(граничные) значения из континуума,
обращение не будет удачным.

Пример
3. Аналогично, можем рассмотреть вопрос
о том, нравится ли испытуемым отдавать
распоряжения. Обратная форма вопроса,
такая как: “Вы не испытываете
удовольствия, когда вам вменяется в
обязанность отдавать распоряжения?”
– не может быть удачной, потому что
возможны случаи, когда отрицание
неприязни к распоряжениям, приказам
вовсе не означает получение удовольствия
от этого. В основе этого ответа лежит
континуум, а не дихотомия. Этот вопрос
не может быть обращен.

Пример 4. В
данном задании рассматривается
аккуратность: “В школах сильно
преувеличивают значение аккуратности”.
Можно утверждать, что навязчиво
аккуратный индивидуум будет считать,
что значение этой особенности поведения
невозможно преувеличить. Следовательно,
данное задание было написано так,
чтобы отрицательный ответ действительно
выявлял исследуемую черту. Таким
образом, с точки зрения разработки
заданий, это жизнеспособное “негативное”
задание.

В этих примерах
проиллюстрированы два наиболее важных
момента в формулировании заданий с
отрицательными ключевыми ответами:
они могут быть сформулированы,
во-первых, если отрицательный ответ
соответствует реальному поведению,
и во-вторых, если в основе ответов
лежит дихотомия, а не континуум, как
в приведенном выше примере 1.

Понятные,
недвусмысленные утверждения

Имеющий значение в контексте
нашей работы вопрос был поднят Guilford
(1959) при попытке устранить установку
на согласие из личностных опросников.
Он утверждает, что согласие наименее
вероятно тогда, когда задания понятны,
недвумысленны и относятся к конкретному
поведению. Поскольку эти качества уже
были указаны среди тех, которые, по
моему предположению, должны быть
присущи разрабатываемым заданиям, я
не буду более говорить о них, а лишь
проиллюстрирую это положение несколькими
примерами.

Так, вопрос: “Играете
ли вы на каком-либо музыкальном
инструменте?”,-является настолько
конкретным, что индивидуум должен был
бы иметь предельно выраженную установку
на согласие, чтобы утвердительно
ответить на этот вопрос, если это не
соответствует истине. С другой стороны,
вопрос: “Нравится ли вам музыка?”-
настолько неопределенный (в том, где
же критерий того, что музыка нравится?),
что согласие вероятно будет фактором,
влияющим на положительные ответы в
этом вопросе. В последнем примере есть
две особенности. Прежде всего, обратите
внимание, что данный вопрос несравним
с вопросом: “Нравятся ли вам
вечеринки?” В этом вопросе критерий
того, нравятся ли вечеринки, известен
каждому: частые посещения с желанием
и энтузиазмом. Следовательно, этот
вопрос – практически сокращенная форма
вопроса: “Посещаете ли вы много
вечеринок?” Таким образом, для него
вероятность подвергнуться влиянию
установки на согласие меньше, чем для
вопроса: “Любите ли вы музыку?”

К этой особенности относится и
неопределенное утверждение “нравится
музыка”. Это выражение бесполезно
в задании. Так, слово “нравится”
может соответствовать разнообразным
чувствам: от тех, которые испытывают
великие композиторы и исполнители,
когда слушают, пишут или исполняют
музыку, до чувств человека, который
любит слушать популярные песенки,
совершая субботние покупки. Подобно
этому, термин “музыка” означает
огромное разнообразие различных
направлений: например, джаз, поп,
народная музыка, рок, барокко,
доклассическая, классика, романтизм,
модерн, неоклассицизм, – а, кроме того,
может иметь отношение к слушанию и
исполнению, так что идентичные ответы
на вопрос могут отражать совершенно
различное поведение. Например, “да”
для испытуемого 1 может отражать
наслаждение от пения контр-тенора в
ранней полифонической венецианской
церковной музыке. А для испытуемого
2 это может отражать удовольствие
прослушивания мотивчика типа “Танцуй
со мной”, когда он сидит за рулем
своей машины. Любое задание, в результате
оценки которого оказывается, что столь
разные области поведения будут отнесены
к одному и тому же классу, с очевидностью
является бесполезным.

Проверка
влияния установки на согласие

До сих пор все наши усилия были
направлены – при помощи сбалансированных
шкал и формулирования предельно ясных
и конкретных заданий – на уменьшение
влияния установки на согласие или на
то, чтобы сделать менее вероятным
получение за счет тенденции к согласию
высоких показателей по переменной,
для измерения которой предназначен
тест. Однако, как уже говорилось,
действие этой установки возможно даже
при сбалансированных шкалах, и далеко
не всегда можно создать настолько
понятные вопросы, чтобы быть уверенным,
что влияние установки устранено.
Поэтому разработаны методики,
предназначенные для проверки того,
была ли установка на согласие фактором,
влияющим на ответы. Эти методики будут
описаны в главе 6.

Социально
одобряемые ответы

Edwards
(1957) показал на материале с заданиями
ММРI, что наблюдается высокая
положительная корреляция между
степенью социальной желательности
утверждений, оценивавшейся экспертами,
и количеством реальных социально
одобряемых ответов на них испытуемыми.
Поэтому он утверждает, что данная
установка должна детерминировать
ответы на задания и, следовательно,
является основным источником
невалидности тестов. Хотя, очевидно,
невозможно полностью устранить влияние
установки на социально одобряемые
ответы, есть разнообразные приемы,
полезные для уменьшения ее влияния.
Эти приемы описаны ниже.

Задания
с вынужденным выбором, подобранные
по их социальной желательности

В списке личностных предпочтений
(Personal Preference Schedule) Эдвардса (EPSS) (Edwards,
1959), как мы уже отмечали в обсуждении
типов заданий (см. п. 8 на стр.95), задания
состоят из двух утверждений, подобранных
по социальной желательности, одно из
которых испытуемый должен выбрать.
Это радикальное решение для устранения
влияния установки на социально
одобряемые ответы. Однако, этот метод
не получил поддержки по следующим
причинам.

(1) Крайне трудно получить
согласованные утверждения, релевантные
также в терминах содержания, которое
мы хотим измерить {Edwards, 1957). Действительно,
серьезное возражение против EPPS – это
то, что данный тест является немногим
более, чем упражнением по конструированию
тестов, и мало свидетельств того, что
он измеряет переменные с какой-либо
эффективностью (см. Kline, 1979).

(2)
Любые незначительные различия в
социальной желательности между частями
заданий имеют тенденцию увеличиваться,
когда они предъявляются вместе, как
это предусмотрено в форме вынужденного
выбора, что сводит на нет большинство
из усилий по подбору утверждений.

(3) Экспертное оценивание социальной
желательности – значительное упрощение
данного явления. Это становится ясно
из того, как получается средняя
экспертная оценка социальной
желательности для каждого задания.
Для этого предполагается, что социальная
желательность одномерна (хотя a priori
это не так). В действительности было
бы нужно многомерное шкалирование
влияния социальной желательности по
всем заданиям, и затем подсчет
показателей по отдельным измерениям
– процедура, которая могла бы быть,
несомненно, рекомендована в свете
приведенного выше пункта (2)! Кроме
того, как указывает Messick (1960), социальная
желательность сама по себе допускает
значительные индивидуальные различия
: то, что социально желательно для
члена парламента, почти наверное не
является таковым для лондонского
докера.

Исходя из этих трех причин,
не рекомендуется прибегать к такому
радикальному и, по-видимому, недостаточно
эффективному шагу, как конструирование
спаренных заданий, подобранных по их
социальной желательности.

Избегайте
явно социальных желательных/нежелательных
заданий

Существует ряд характеристик и
качеств, с которыми мало кто захочет
согласиться, по крайней мере в среде
образованных европейцев. Они настолько
очевидны, что когда мы проиллюстрируем
их ниже несколькими примерами
утверждений, то они покажутся явно
абсурдными. Вот несколько примеров
утверждений, которые являются явно
социально желательными или нежелательными:

(1) Я с трудом переношу неудачи:
(да, нет).

(2) Я не понимаю юмор: (да,
нет).

(3) Я постоянно лгу: (да, нет).

(4) Я мало сексуален: (да, нет).

(5)
Я сексуальный психопат: (да, нет).

(6)
Я не могу контролировать свои эмоции:
(да, нет).

(7) Я завистливый и ревнивый
человек: (да, нет).

(8) Я скупой: (да,
нет).

(9) Когда возможно, я отлыниваю
от работы: (да, нет).

(10) Я лгу, чтобы
избавиться от хлопот: (да, нет).

(11)
Я ненавижу негров: (да, нет).

(12) Я
в основе своей антисемит: (да, нет).

По нашему опыту разработки тестов,
мы были бы сильно удивлены, если бы
любой из двенадцати приведенных
примеров оказался приемлемым даже
для исследовательского теста. Например,
для тестов личности, используемых в
профотборе, они будут совершенно
бесполезными. Представьте себе
утверждение (11)в тесте, предназначенном
для работников социального обеспечения,
или утверждение (12) в тесте, предложенном
человеку, надеющемуся получить работу
в фирме, владельцем которой является
еврей.

Измерение
социально желательных и нежелательных
черт

Если измерению подлежат социально
желательные или нежелательные черты,
при разработке заданий следует избегать
прямолинейного подхода, как в
перечисленных выше утверждениях. Два
примера пояснят сказанное.

Пример
1. Задание для измерения скупости.
Поскольку (см. утверждение 8 выше)
прямой подход не годится, я утверждал
при разработке теста AI3Q, что скупой
человек вполне мог бы думать, что
содержащиеся в народной мудрости
высказывания о бережливости очень
разумны, тоща как на менее скупого они
не произвели бы впечатления.
Следовательно, я попытался сформулировать
задание следующим образом: “Каждый
ребенок должен знать, что бережливость
лучше богатства.” Похоже, что в этом
задании ответы как “да”, так и
“нет”, не имеют отношения к
социальной желательности (не являются
социально одобряемыми). Действительно,
этот вопрос оказался удачным по всем
результатам анализа заданий.

Пример
2. Задание для выявления мстительности.
Мало кто подтвердит утверждение: “Я
мстителен.” Однако, как уже говорилось,
мстительные индивидуумы обычно
проецируют свою мстительность на
других, т.е. действуют механизмы защиты.
Таким образом, я сконструировал
утверждение: “Поступками большинства
революционеров руководит мстительная
жестокость.” Я подумал, что мало
кого из испытуемых можно было бы
действительно причислить к революционерам,
так что мнения обследуемых будут
отражать их собственные защитные
реакции и стремления. Это задание
оказалось удачным, и я полагаю, что
проекция – это механизм, действие
которого может быть использовано в
формулировании вопросов, которые
слишком социально нежелательны, чтобы
задавать их прямо.

Пример 3. Задание
для выявления лености. Если опираться
на механизм проекции, то можно
сформулировать утверждение так:
“Промышленность сегодня находится
в плачевном состоянии, потому что
рабочие в основном ленивы.” Следует
заметить, что если это утверждение
рассматривается некоторыми испытуемыми
как факт, то есть не “включает”
проективный механизм, то анализ заданий
полностью выявит это: вопрос не будет
работать.

Использование
шкалы лжи

Некоторые авторы (например, Айзенк
в тестах ЕРI и EPQ) вводят особую группу
заданий для выявления тех лиц, которые
склонны давать социально одобряемые
ответы. Они состоят из вопросов,
касающихся незначительных проступков,
которые, увы, иногда совершаются
большинством людей. Набравший наибольшее
количество баллов по такой шкале
рассматривается как дающий социально
одобряемые ответы, а поэтому его
показатели по тесту могут быть
проигнорированы. Хотя Eysenck и Eysenck
(1976), исходя из факторного анализа
заданий теста EPQ утверждают, что шкала
лжи измеряет определенную личностную
переменную, для практического
тестирования со значительным потоком
испытуемых этот прием для обнаружения
установки на социально одобряемые
ответы весьма полезен.

Вот некоторые
типичные утверждения шкалы лжи: “Я
никогда не лгу”; “Я всегда прихожу
вовремя на встречи и свидания”; “Я
всегда плачу за проезд на транспорте”.

Адекватный
анализ заданий и валидизация теста

Несмотря на все сказанное, я
по-прежнему утверждал бы, что при
соответствующем анализе и отборе
заданий во время разработки теста,
при тщательной валидизации теста, как
и в случае с установкой на согласие,
влиянием тенденции к социально
одобряемым ответам можно пренебречь.

(1) Анализ заданий. По определению,
наличие в тесте задания, провоцирующего
социально одобряемые реакции, должно
приводить к тому, что распределение
ответов на него будет смещено, то есть
не будет соответствовать нормальному
распределению. Таким образом, устранением
из теста заданий с распределением
ответов, отличным от нормального, мы
избавимся от действия установки на
социально одобряемые ответы. Более
того, если большинство заданий дают
нормальное распределение ответов и
они нагружены некоторым общим фактором,
тогда установка на социально одобряемые
ответы не может оказывать сильное
влияние и на другие задания, относящиеся
к тому же фактору. Подобные аргументы
приводятся при анализе заданий с
использованием бисериальной корреляции
результатов выполнения каждого задания
с общим показателем по тесту. Таким
образом, при адекватном анализе те
задания, результат выполнения которых
подвержен влиянию установки на
социально одобряемые ответы, должны
быть устранены, если только, по нелепой
случайности, все задания, выбранные
нами для теста, не оказались измеряющими
эту черту. Возможность возникновения
этой ситуации должна проверяться при
валидизации теста.

(2) Валидизация
теста. Более важной процедурой, нежели
проверка на тенденцию к социально
одобряемым ответам, является валидизация
теста. Если мы покажем, что тест валиден,
то тогда не имеет значения, влияет ли
на его выполнение установка на социально
одобряемые ответы, или нет. Один из
путей доказательства того, что тест
свободен от действия установки на
социально одобряемые ответы, – показать
при исследовании валидности, что он
не связан со шкалой социальной
желательности Кроуна-Марлоу
(Crowne-Marlowe Social Desirability Scale; Crowne и Marlowe,
1964), шкалой, coстоящей из явно социально
желательных (нежелательных) утверждений.

Выводы
относительно установки на социально
одобряемые ответы

Нет сомнения, что установка на
социально одобряемые ответы может
влиять на результаты выполнения
заданий, и, следовательно, на показатели
тестов личности. Несмотря на это, ее
влияние может быть минимизировано.
Вот некоторые выводы:

(1) Следует
всячески избегать заданий с явно
социально желательной или нежелательной
окраской.

(2) Процедура анализа
заданий позволит устранить те задания,
ответы на которые явно смещены в одном
направлении (“да” или “нет”).

(3) Должна быть всегда продемонстрирована
валидность теста, что позволит
окончательно устранить все задания,
в ответах на которые сказывается
установка на социальную желательность.

(4) Нет необходимости предпринимать
столь тщательно разрабатываемые меры
предосторожности против установки
на социальную желательность, как это
делал Edwards (1957).

Другие
установки на ответы

ТЕНДЕНЦИЯ
ПОДТВЕРЖДАТЬ КРАЙНИЕ ОТВЕТЫ

Это
тенденция, сказывающаяся в рейтинговых
шкалах и таких тестах, как, например,
тест личностных шкал Комрея (Cornrey
Personality Scales; Cornrey, 1970), то есть тех, в форму
заданий которых входят рейтинговые
шкалы. С моей точки зрения, преимущества
рейтинговых шкал (в плане чувства
удовлетворения у тех испытуемых,
которые полагают, что на вопросы лучше
отвечать в такой форме) сводятся на
нет проблемами, возникающими с теми
испытуемыми, которые склонны подтверждать
крайние ответы. Для того, чтобы не
спутать их с лицами, имеющими высокие
показатели по тесту, сбалансированная
шкала уже не поможет, потому что при
такой установке каждый из крайних
пунктов шкалы одинаково привлекателен.
Единственный способ избежать этой
проблемы – не использовать задания
данного типа. Если же мы по каким-либо
причинам вынуждены использовать такие
шкалы, то тщательный анализ заданий
и валидизация переменных теста,
вероятно, смогут устранить те вопросы
(утверждения), которые особенно
побуждают испытуемых проявлять эту
установку.

Как утверждает Guilford
(1959), наиболее благоприятной почвой
для проявления любых установок на
ответы являются те задания, которые
неопределенны, неоднозначны и
неконкретны. Значение этого утверждения
невозможно преувеличить. Формулирование
заданий путем следования указанным
выше правилам позволит минимизировать
влияние установок. Более того, тщательная
валидизация теста продемонстрирует,
что влияние этих искажающих факторов
незначительно. Однако, это влияние не
будет столь несущественным, если не
будут приняты меры предосторожности.
Применительно к установкам на крайние
ответы можем рекомендовать избегать
использовать задания типа рейтинговых.

ТЕНДЕНЦИЯ К ПОДТВЕРЖДЕНИЮ СРЕДНИХ
ЗНАЧЕНИЙ

Несомненно, лучший способ
избежать проявления этой установки
– это использовать дихотомические
задания. Однако, у некоторых испытуемых
возникают сложности при работе с
дихотомическими заданиями. Они считают,
что на них невозможно отвечать, а
поэтому (для этих испытуемых) желательно
введение некоторой средней категории
ответов. Исследования (Bendig, 1959) показали
столь высокую корреляцию между
дихотомическими и трихотомическими
заданиями, что риск проявления побочных
явлений, подобных обсуждаемому, не
оправдывает использования последних.

Хорошо сформулированные задания
могут быть написаны так, что выбор
средней категории не будет притягательным
для испытуемых. Эта категория ответов
особенно привлекательна тогда, когда
оба крайних значения в равной степени
не затрагивают, безразличны для
испытуемых. Например: “Что бы вы
предпочли: (а) осмотреть консервный
завод; (б) пойти в местный музей; (в) не
знаю?” Как могут быть выявлены такие
вопросы при проверке теста в том
случае, когда мы используем дихотомические
задания? Автор данной книги использовал
такой прием: во время проверки теста
он снабдил его специальной инструкцией,
в которой указывалось, что все задания,
при выполнении которых испытуемым
потребовалась средняя категория
ответов, должны быть помечены крестиком.
От тех заданий, которые часто отмечаются
таким образом, лучше отказаться, если
только они не оказались особенно
эффективными в ходе анализа заданий.

Задания, для которых необходима
средняя категория ответов, не смогут
пройти процедуру анализа и будут
автоматически устранены, а исследование
валидности может показать, что установка
на средние ответы не является
существенным источником ошибок.

Довольно об установках на ответы.
Если будут использоваться те приемы,
о которых речь шла выше, то мы склонны
полагать, что влияние установок на
ответы будет минимальным. Дальнейшая
валидизация тестов покажет, действительно
ли это так.

Содержание
вопросов (утверждений)

До сих пор при обсуждении принципов
конструирования заданий основное
внимание уделялось их форме. При этом
мы предполагали, что знаем, какие черты
(особенности) пытаемся тестировать.
Тем не менее, справедливо было бы
спросить, каким же именно образом мы
принимаем решения о содержании заданий.
Трудно делать общие заключения об
этом, поскольку многое зависит от
особенностей конкретной области
поведения, для диагностики которой
мы хотим разрабатывать тест личности.
Чтобы проиллюстрировать, как принимать
решения о содержании тестов, я приведу
несколько примеров.

Теоретический
пример

Kline
(1968) выполнил экспериментальное
исследование особенностей анального
характера (Freud, 1908), в ходе которого для
конструируемого теста было поставлено
большое количество эмпирических
задач. Существует ли анальный характер?
Если да, то измеряется ли он другими
личностными опросниками? Имеет ли он
отношение к научению ребенка справлять
большую нужду? Изменяется ли он от
культуры к культуре, как следовало бы
ожидать, исходя из психоаналитической
теории? Чтобы ответить на эти вопросы,
было необходимо сконструировать и
валидизировать инструмент для измерения
анального характера. Чтобы сделать
это, я должен был решить, какие черты
должны войти в тест.

Далее следует
краткое описание того, как содержание
вопросов (утверждений) было отшлифовано,
прежде чем они превратились в задания
теста. Получившийся в результате этого
тест (Ai3Q), похоже, выдержал подробные
критически проверки (см. Kline, 1978). Были
подробно изучены психоаналитические
описания анального характера (напр.,
Abraham, 1921; Jones, 1923; Menninger, 1943), и составлен
список всех черт и специфических
примеров поведения. Примеры из
публикации Jones (1923) перечислены ниже.

(1) Промедление в удовлетворении
потребностей, доводимое до их интенсивной
концентрации, монотонная настойчивость,
своевольная независимость – уверенность,
что никто не может сделать что-либо
так хорошо, как он сам.

(2) Неспособность
перепоручать работу.

(3) Мелочное
внимание к подробностям.

(4) Нежность
к детям.

(5) Склонность к доминированию.

Подобным образом был собран
длинный подробный список черт и
особенностей поведения. Затем они
были преобразованы в задания теста с
использованием всех тех правил и
приемов, которые обсуждались в данной
главе.

Практический
пример

Нет
сомнений в том, что полезно иметь
инструмент для измерения агрессивности,
например, в центре по перевоспитанию
правонарушителей или для малолетних
заключенных. Основным подходом в этом
случае было бы составление списка
всех проявлений агрессивности, которые
только можно вообразить, преобразование
их в задания и апробация на соответствующей
выборке. Следует отметить, что при
таком подходе не стоит вопрос о том,
что есть агрессия как личностное
измерение. Для этого необходимо
специальное исследование. Так, факторный
анализ заданий продемонстрировал бы,
есть ли только одно измерение, ряд
коррелирующих между собой измерений,
несколько некоррелирующих измерений
или ни одного реального синдрома
поведения, которые могли бы быть
значимо описаны как агрессивность.

Получение
содержания задания

Возвращаясь
к нашему примеру, отметим, что есть
набор признаков агрессивного поведения,
которые бы могли быть использованы в
заданиях: постоянно дерется (не в
шутку); когда раздражен, вступает в
драку по любому поводу; использует в
драке разбитые бутылки; носит с собой
бритвы, кастеты, велосипедные цепи,
складные ножи, ремни с металлическими
бляхами, имеет тяжелые ботинки; бьет
упавших противников ногами; избивал
кого-либо до потери сознания; страдал
от несправедливости и оскорблений;
кричит, если раздражен; разбрасывает
вещи по комнате; лжет, чтобы раздразнить
конкурентов; придумывает страшные
истории. Затем подобный список при
помощи приемов, описанных в данной
главе, может быть преобразован в
задания теста.

Заключение

При
тех сложных и неизбежно неточных
инструкциях для конструирования
заданий тестов личности, приведенных
в данной главе, наиболее ценным может
оказаться краткое пошаговое описание
интересующей нас процедуры. Оно и
приводится ниже. Полное обоснование
всех этих положений содержится в
тексте главы.

(1) Перечислите черты
и особенности поведения из описаний
в психологической литературе.

(2)
Преобразуйте описание каждой черты
или особенности поведения в задание.
Это лучше всего сделать при помощи
обычных форм заданий опросников: (а)
дихотомических заданий (типа “да-нет”);
(б) трихотомических заданий (типа
“да-?-нет”): (в) альтернативных
заданий; (г) заданий типа “нравится-не
нравится”; (д) заданий с вынужденным
выбором; (е) заданий с рейтинговыми
шкалами. Выбор формы задания зависит
от особенностей используемого материала
и оценки преимуществ и недостатков
каждого типа заданий.

(3) Независимо
от используемого типа заданий
старайтесь, чтобы назначение каждого
задания не было слишком очевидным.

(4) формулируйте каждое задание
понятно и недвусмысленно.

(5)
Насколько возможно, обеспечьте, чтобы
каждое задание относилось к какой-либо
конкретной области поведения.

(6)
В каждом задании должен содержаться
только один вопрос или одно утверждение.

(7) Избегайте использовать термины
частоты и другие субъективные выражения.

(8) Когда это возможно, задания
должны касаться поведения, а не чувств
и отношений.

(9) Обеспечьте, чтобы
ответы на задания давались быстро.

(10) Избегайте влияния основных
установок на ответы, таких как установка
на согласие и установка на социально
одобряемые ответы.

(11) Вероятность
проявления установки на согласие
лучше всего уменьшается формулированием
понятных заданий и использованием
сбалансированных шкал.

(12) Проверьте
при помощи процедур анализа заданий
то, что тенденция к согласию –
несущественный фактор.

(13) Установки
на социально одобряемые ответы легче
всего избежать путем тщательного
формулирования заданий.

(14)
Проверьте при помощи техники анализа
заданий, что установка на социально
одобряемые ответы – несущественный
фактор.

(15) Избегайте с помощью
адекватной формы заданий влияния
установок на выбор крайних или средних
категорий ответов.

(16) Проверьте
при помощи процедуры валидизации, что
влияние установок на ответы не является
существенным. Если тесты валидны, то
установки на ответы не могут оказывать
влияние на их показатели.

Источник

Учебное пособие: Анкетирование, составление анкет

Содержание

Теоретическая часть

Практическая часть

Программа исследования

Теоретическая часть

Анкетирование в психологии используется с целью получения психологической информации, а социологические и демографические данные играют лишь вспомогательную роль. Контакт психолога с респондентом сведён здесь к минимуму. Анкетирование позволяет наиболее жёстко следовать намеченному плану исследования, так как процедура «вопрос-ответ» строго регламентирована.

При помощи метода анкетирования можно с наименьшими затратами получить высокий уровень массовости исследования. Особенностью этого метода можно назвать его анонимность (личность респондента не фиксируется, фиксируются лишь его ответы). Анкетирование проводится в основном в случаях, когда необходимо выяснить мнения людей по каким-то вопросам и охватить большое число людей за короткий срок.

Пионером использования анкеты в психологическом исследовании считают Ф. Гальтона, который в своём исследовании влияния наследственности и среды на уровень интеллектуальных достижений при помощи анкеты опросил сотню крупнейших британских учёных.

Виды анкетирования.

По числу респондентов

Индивидуальное анкетирование (один респондент)

Групповое анкетирование (несколько респондентов), Аудиторное анкетирование — методическая и организационная разновидность анкетирования, состоящая в одновременном заполнении анкет группой людей, собранных в одном помещении в соответствии с правилами выборочной процедуры.

Массовое анкетирование (от сотни до тысяч респондентов)

По полноте охвата

Сплошное (опрос всех представителей выборки)

Выборочное (опрос части выборки)

По типу контактов с респондентом

Очное (в присутствии исследователя-анкетёра)

Заочное (анкетёр отсутствует)

Рассылка анкет по почте

Публикация анкет в прессе

Публикация анкет в Интернете

Вручение и сбор анкет по месту жительства, работы и т.д.

Он-лайн анкетирование

С ростом популярности Интернета всё более востребованным способом сбора данных становится он-лайн анкетирование. Дизайн он-лайн опросников часто влияет на результат опроса. К таким факторам дизайна относят качество руководства опросников, доступные форматы представления данных (вопросов), способы управления, проработанность и этические составляющие опросника.

По форме вопросы разделяются на открытые (свободный ответ, например: «Что вы думаете делать после службы в армии?») и закрытые — ответ заключается в выборе из нескольких предлагаемых в анкете утверждений. Открытые вопросы дают более глубокие сведения, но при большом числе анкет приводят к значительным трудностям в обработке в связи с нестандартностью ответов. Ответы на вопросы носят, как правило, анонимный характер.

Основные правила построения анкеты:

логическая последовательность тем, затрагиваемых вопросами;

интерес респондента должен расти от вопроса к вопросу;

отсутствие слишком сложных или интимных вопросов;

соответствие формулировки вопросов образовательному уровню опрашиваемой группы;

в закрытых вопросах должны быть предусмотрены все возможные варианты ответов;

общее количество вопросов не должно быть слишком большим — анкетирование не должно утомлять или раздражать респондента.

Анкетирование может проводиться 3 способами: анкета заполняется в присутствии интервьюера индивидуально; групповое заполнение в присутствии интервьюера; опрашиваемые самостоятельно заполняют и для сохранения анонимности одновременно сдают анкеты; «почтовое» анкетирование, когда анкета раздаётся или рассылается на дом, а затем опрошенным возвращается по почте. С целью повышения эффективности опроса перед массовым анкетирование, как правило, проводятся пробные опросы (50-100 анкет) для выбраковки неудачных («неработающих») вопросов.

Применение: определение объема и долей рынка, оценка потенциала рынка конкретного продукта, характеристики рынка и тенденций его развития (комплексное исследование), регулярный мониторинг рыночных показателей, портрет и поведение потребителей, изучение отношения потребителей к товарам, торговым маркам, производителя, сегментирование потребителей и выбор целевого рынка.

Практическая часть

Анкета

Трудоустройство молодежи

1. Имеете ли Вы работу?

а) да

б) нет

(Если Вы ответили вариант «а», то ответьте, пожалуйста, на следующие два вопроса):

2. Нравится ли Вам ваша работа?

а) да

б) нет

в) у меня нет выбора

3. Устраивает ли Вас ваша зарплата?

а) да

б) нет

в) затрудняюсь ответить

4. Имеете ли Вы высшее образование?

а) да

б) нет

5. Какое у Вас образование?

а) техническое

б) гуманитарное

в) _____________ (Ваш вариант)

6. Хотите ли Вы работать по специальности?

а) да

б) нет

7. Какую бы Вы хотели зарплату?

_____________________________________________________________

8. Что бы Вы предпочли?

а) занимать руководящую должность

б) готовы работать в подчинении

9. Что играет для Вас главную роль при выборе работы?

а) высокая зарплата

б) работа должна быть интересной

в) ответственная должность

г) близкое расположение места работы от дома

д) не знаю

10. Сейчас много говорят о том, чтобы ввести для выпускников вузов — бюджетников отработку в течение 3 лет. Как Вы к этому относитесь?

а) да, это правильно, я бы с удовольствием трудился по распределению на государственном предприятии

б) нет, это не допустимо, так как по распределению скорее всего работодатели не могут предложить высокой оплаты

в) да, с радостью, так как государство платило за мое обучение в вузе и я хочу вернуть ему долг

г) нет, так как я не собираюсь работать по своей специальности

д) да, так как я буду уже наверняка обеспечен рабочим местом

е) нет, так как это может быть связано с переездом в сельскую местность

11. Как Вы считаете, сильно ли влияет сложившаяся экономическая ситуация на трудоустройство молодежи?

а) да

б) нет

в) а какая сложилась ситуация?

12. Как Вы считаете, по какой причине молодых специалистов не очень хотят брать на работу?

а) отсутствие у молодых специалистов практического опыта

б) несоответствие ожиданий соискателей и работодателей

в) по причине финансового кризиса

13. Как Вы считаете, какова вероятность найти хорошую работу с помощью Интернета?

а) очень большая вероятность

б) не большая вероятность

в) никакой

г) затрудняюсь ответить

14. Многие работодатели считают, что в современной экономической ситуации молодежь должна получать опыт волонтерской работы. Вы с этим согласны?

а) да

б) нет

в) я не знаю, что такое волонтерская работа

15. Считаете ли Вы, что предприятия и организации должны уже заранее готовить для себя специалистов, пока они еще учатся в вузах — брать их на практику, проводить дополнительные занятия и т.д. («выращивать кадры»)?

а) конечно, это было бы здорово

б) нет

в) __________________________________________________________________

16. Влияет ли, по Вашему мнению, на успешное трудоустройство тот фактор, хорошо ли студент учился в вузе?

а) да

б) нет

17. Считаете ли Вы, что наличие второго высшего образования поможет в трудоустройстве?

а) да

б) нет

18. Как Вы считаете, будет ли играть для Вас важную роль атмосфера в Вашем будущем рабочем коллективе?

а) да

б) нет

19. Какие, по Вашему мнению, у Вас есть дополнительные знания и навыки, благоприятные для работодателя?

_____________________________________________________________

20. Какими способами Вы попытаетесь убедить работодателя в необходимости взять на работу именно Вас?

_____________________________________________________________

Программа исследования

Проблема трудоустройства молодежи

Тема: трудоустройство молодежи

Цель исследования: выяснить ситуацию в городе Самара с трудоустройством молодежи

Задача: оказание помощи молодежи найти свое место на рынке труда

Объект исследования: взаимодействие молодежи, желающей трудоустроиться, с работодателем

Генеральная совокупность: жители Самары

Выборочная совокупность: жители Самары от 18 до 25 лет

Гипотеза: у молодежи существуют сложности с трудоустройством

Источник

Анкетирование как метод исследования все чаще используется в современном мире. Он помогает собрать нужную информацию.

Оглавление:

Анкетирование в социологии – общее понятие, цели и задачи

Виды анкетирования

Анкета и ее структура

Виды вопросов для анкеты

Как составить анкету для социологического опроса

Правила составления анкеты

Как оформить результаты анкетирования

Плюсы и минусы анкетирования

Данная статья расскажет о том, какие цели преследует данный вид исследования, как создаются анкеты и опросные листы, чего следует избегать при их составлении и как анализировать результаты.

Анкетирование в социологии – общее понятие, цели и задачи

Социальное анкетирование является полезным инструментом для получения информации от людей. То есть, основная цель – собрать данные.

Чем отличается анкетирование от тестирования? Тестирование – это испытание людей на определенный уровень знаний, умений или общую интеллектуальную развитость.

Итак, тестирование имеет другую цель, по сравнению с анкетированием. Тестирование чаще всего используется в педагогике.

Анкетер – это человек, который проводит анкетирование; респондент (или информант) – тот, кто заполняет анкету.

Есть несколько различных задач, которые стоят перед анкетированием:

Узнать новую теоретическую информацию.
Узнать больше о целевой аудитории. Анкеты, определяющие, чего хотят потребители, что им нужно, и что им нравится, пригодятся при сегментировании списков на основе этих факторов. Чем более узкими и конкретными являются списки, тем выше шансы на успешный коэффициент конверсии.
Получить отзывы о недавнем событии, продукте или услуге: если аудитория высказывает свое мнение, это поможет добиться больших успехов в будущих начинаниях.
Проверить знания. Интервьюирование может использоваться (но более редко) для определения уровня знаний. Для этого чаще используют тестирование.
Уточнить точку зрения. Анкеты, используемые в качестве пояснения, имеют большое значение для уменьшения недопонимания и, следовательно, более эффективного общения в дальнейшем.
Установить позитивные отношения: когда открываются линии связи, это показывает респондентам, что их мнение ценят.

Виды анкетирования

В зависимости от количества респондентов анкетирование бывает:

индивидуальное – проводится с одним участником;
групповое – анкеты раздают небольшому количеству людей, которые находятся в одном помещении и проходят пункты вопросника.

В зависимости от способа распространения вопросники делятся на такие категории:

Компьютерная анкета – участникам предлагают заполнить анкету, которая отправляется по почте. Преимущества такого вида включают в себя их недорогую цену, экономию времени, респондент не чувствует давления, поэтому может ответить, когда у него есть время, давая более точные ответы. Однако, главный недостаток заключается в том, что иногда информанты не удосуживаются ответить и могут просто игнорировать опрос.
Телефонный опросник – исследователь может позвонить потенциальным участникам с целью попросить их ответить на вопросы. Преимущество телефонной анкеты в том, что она может быть заполнена за короткий промежуток времени. Основным недостатком является то, что большинство людей не чувствуют себя комфортно, передавая информацию по телефону.
Внутренний опрос – этот вид предполагает, что исследователь посещает информантов в их домах или на рабочих местах. Преимущество внутреннего опроса заключается в том, что люди могут уделять больше внимания всем блокам вопросника. Тем не менее внутренние исследования также имеют ряд недостатков, которые включают в себя длительность и дороговизну, а респонденты, возможно, не захотят пригласить анкетера в свой дом или на рабочее место по различным причинам.
Почтовая анкета – вопросники такого рода предполагают, что исследователь отправляет респонденту психологический опросник по почте, часто с приложением предварительно оплаченного конверта. Почтовые анкеты имеют преимущество в предоставлении более точного ответа, потому что участники могут ответить в свободное время. Недостатки заключаются в том, что такой метод дорогой, отнимает много времени и иногда письма оказываются в корзине.

Отдельно выделяют двухтуровое анкетирование. В первом туре проводится обычный опрос нескольких участников. А во втором туре участники обмениваются вопросниками и анализируют результаты друг друга.

Анкета и ее структура

Анкета представляет собой структурированную форму, состоящую из формализованного набора вопросов, предназначенных для сбора информации по определенным темам от одного или нескольких респондентов.

Другими словами, это методика сбора данных, при которой информантов просят дать некоторую информацию. Независимо от формы (письменный или печатный), опрос имеет определенную структуру.

Вводная часть

Цель вводной части – побудить желание поделиться информацией. Вводная часть (или шапка) состоит из приветствия и обращения к респонденту. В обращении нужно объяснить цель анкетирования и правила заполнения.

В этой части важно гарантировать анонимность и безопасность данных, а так же нужно заранее поблагодарить респондента. Шаблон вводной части изображен ниже.

Паспортичка

Это блок, в котором участник рассказывает про себя: возраст, пол, социальная принадлежность, профессия, род занятий и другие демографические данные. Паспортичка может размещаться как вначале, так и в конце опросника. Пример приведен ниже.

Основная часть

Это самая большая часть опроса, которая состоит из блоков вопросов разной формы и сложности. Образец основной части изображен ниже.

Виды вопросов для анкеты

Анкеты могут включать в себя следующие типы:

Открытые вопросы отличаются от других типов, используемых в анкетах, тем, что они могут дать неожиданные результаты, которые могут сделать исследование более оригинальным и ценным. Тем не менее такие результаты трудно проанализировать. Примеры открытых вопросов включают в себя такие виды:
- полностью неструктурированный – например, такой: «Как вы относитесь к кошкам?»;
- завершение предложения – информанты заканчивают неполное предложение. Например, «Самое важное соображение в моем решении купить новый дом – это…»;
- завершение истории. Респонденты заканчивают неполную историю;
- тематический апперцептивный тест. Участники объясняют картину или рассказывают о том, что, по их мнению, происходит на картинке;
Вопросы со множественным выбором. Респондентам предлагается набор ответов, которые они должны выбрать. Недостаток такого вида в том, что если имеется слишком много ответов на выбор, то это делает психологическую анкету запутанной и скучной.
Дихотомические вопросы – этот вид предполагает на выбор два варианта: да или нет.
Матричные вопросы – такой блок выглядит как матрица с категориями ответов вверху и списком вопросов внизу. Это обеспечивает эффективное использование пространства страницы и времени участников.
Масштабные вопросы – они дают возможность информантам ранжировать доступные ответы в масштабе заданного диапазона значений (например, от 1 до 10).
Вопросы на случай непредвиденных обстоятельств – пункт, которому уделяют внимание только в том случае, если человек дает конкретный ответ на предыдущий вопрос. Это позволяет не опрашивать людей, которые не имеют отношения к теме.

Как составить анкету для социологического опроса

Желательно избегать определенных типов вопросов, таких как:

Гипотетические. Следует избегать формулировок, вводящих в заблуждение предположениями и фантазиями. Варианты:
- неправильно: «Как должна работать наша служба поддержки?»;
- правильно: «Что Вас не устраивает в работе нашей службы поддержки?»;
Смущающие. Не нужно заставлять респондентов чувствовать себя неловко, расспрашивая подробности о личных проблемах, которые, в свою очередь, могут привести к потере доверия. Если же нужно включить такой пункт, то важно показать участнику, что его не будут осуждать за ответ. Примеры:
- неправильно: «Вы помогаете бедным людям?»;
- правильно: «Одни люди считают, что не обязательно оказывать финансовую помощь трудоспособным бедным. А как Вы считаете?»;
Чрезвычайно положительные/отрицательные. Необходимо тщательно продумать формулировку, чтобы избежать резких положительных или отрицательных оттенков. Примеры:
- неправильно: «Разве Вы не удовлетворены своей работой?»;
- правильно: «Вы удовлетворены своей работой?».

Правила составления анкеты

Разработка анкеты – это многоэтапный процесс, требующий внимания к деталям на каждом этапе.

Следующие правила помогут упростить этот процесс:

Решить, что нужно охватить в вопроснике. Четкое определение темы имеет первостепенное значение, поскольку это является основным шагом при разработке.
Не менять слова. Важно, чтобы слова или фразы, которые используются, были сформулированы максимально просто. Если пункты неясны, информанты могут просто выбрать любые варианты, что приведет к неточным данным.
Задавать только один вопрос за раз. Варианты, когда в одном вопросе, задаются сразу два, будут давать не точный результат, потому что могут получится разные ответы.
Правильно формулировать пункты анкеты с вариантами ответов: при разработке анкетер должен быть гибким с точки зрения «выбора варианта». Иногда респонденты не обязательно хотят выбирать один из вариантов ответа, предоставленных создателем опроса, в такой ситуации полезно иметь «другой» вариант.
Открытый или закрытый вопрос – это сложный выбор: анкетер может оказаться в ситуации, когда потребуется сделать четкий выбор между открытым или закрытым видом. Но решение в этом случае нужно принять обдуманно.
Важно знать аудиторию: как правило, исследователь должен знать свою целевую аудиторию. Например, если целевой аудиторией является россияне, то отправка вопросника на иностранном языке не даст желаемых результатов.
Чувствительные вопросы в середине опросника могут привести к тому, что участники не закончат опрос. Лучше всего блоки личных и демографических данных располагать в конце.

Как оформить результаты анкетирования

Оформление итогов опроса предполагает визуализацию данных. Для этого используют различные типы диаграмм в зависимости от видов анкет.

Если вопросы предлагают два варианта (например, «да» и «нет»), круговая диаграмма – самый простой вариант представления данных.

Если нужно сравнить показатели отклика нескольких групп, лучше выбрать гистограмму. Связку выровненных столбцов гораздо проще сравнить, чем несколько круговых диаграмм. При этом важно обозначить каждый столбец процентом для ясности.

В вопросах со шкалой оценок участникам предлагается спектр возможных ответов. Столбчатая диаграмма с разбивкой на 100% – самый простой вариант для визуализации собранных данных.

В дополнение к другим результатам опроса можно использовать итоги демографических опросов как часть анализа. Включая такие факторы, как возраст, пол, уровень дохода и даже географическое положение, можно получить интересную инфографику.

Визуализация данных опроса на карте – интересный способ включить демографический компонент в инфографику.

Гистограммы, с другой стороны, могут использоваться, чтобы показать возрастное распределение определенной популяции.

Обработка результатов открытых вопросов представляет собой небольшую проблему. Чтобы визуализировать итоги, нужно каким-то образом сгруппировать ответы, используя общие ключевые слова или другие факторы.

Облака слов, хотя некоторые эксперты по визуализации осуждают их использование, могут способствовать получению сводных данных.

В противном случае придется провести более интенсивный ручной анализ: просмотреть открытые ответы и создать категории. После этого можно представить результаты в виде гистограммы, подобно этой, которая показывает процент комментариев, попадающих в каждую категорию.

Плюсы и минусы анкетирования

Преимущества:

Анкеты являются одним из наиболее экономически эффективных и доступных способов сбора количественных данных. Особенно онлайн и мобильные опросы имеют очень низкую стоимость и щедрый охват.
Они практичны. Помимо того, что вопросники являются недорогими и гибкими, они также являются практическим способом сбора данных. Они могут быть нацелены на группы по конкретному выбору и управляться различными способами.
Масштабируемость. Опросники позволяют собирать информацию от большой аудитории.
Научный анализ и прогнозы. Чем больше данных удается собрать, тем яснее станет картина. Вся эта информация дает маркетологам возможность создавать новые стратегии и следить за тенденциями в аудитории. Анализ отчетов может использоваться для составления прогнозов и даже создания контрольных показателей для последующих вопросников.
Анонимность. В социологических опросах не нужно указывать личность. Но для обеспечения чувства точной конфиденциальности лучше использовать компьютерное анкетирование. Анонимное компьютерное интервьюирование дает самые точные результаты.
Легкая стандартизация. Исследователь может быть уверен, что все участники выборки отвечают на одни и те же пункты.

Проведение анкетирования имеет такие недостатки:

Используя почтовое анкетирование, исследователь никогда не может быть уверен, что тот, кому была отправлена психологическая анкета, действительно заполнит ее.
Исследователь не может быть полностью уверен, что задаваемые вопросы значат для всех информантов то же, что и для исследователя.
Нечестность. Люди не могут быть полностью правдивыми в своих ответах. Это может произойти по разным причинам, в том числе из-за предвзятости социальной желательности и попыток защитить частную жизнь.
Некоторые данные трудно анализировать. Вопросники дают много данных. Открытые вопросы допускают индивидуальные ответы, которые не могут быть определены количественно и должны быть рассмотрены человеком.
Пропущенные пункты. При использовании вопросников есть вероятность, что некоторые пункты будут проигнорированы.

Источник

Вы хорошо представляете себе перспективы своего развития? А свою целевую аудиторию, клиентов? Вы знаете, кто они, что их заботит и почему именно на вашем сайте они решили искать решение своих проблем?

Если вы не понимаете пользователей вашего сайта, то не ждите высокой конверсии и вала продаж.

А ведь понять клиентов просто. Достаточно задать им правильные вопросы. И сделать это в нужное время в нужном месте, пока пользователи исследуют ваш сайт.

Вопросы для опроса пользователей – это популярный и эффективный метод, который позволяет наладить обратную связь с потребителем товара или услуг. Узнать потребности ЦА, понять, почему они быстро покидают ваш сайт, что они хотели бы на нём видеть.

Главное, чтоб вопросы для выявления потребностей клиента были правильными. Найдете правильные, найдете ключики к своей ЦА.

В этой статье вы узнаете, как составлять действенные, вполне рабочие анкеты для опроса пользователей, клиентов или покупателей. Получите конкретные правила подготовки вопросов.

Будет 3 части. Вот они:

Часть 1. Как правильно задавать вопросы для опроса клиентов?

Часть 2. Самые полезные вопросы для опроса гостей сайта. 21 вариант вопросов

Часть 3. 7 шаблонов для опросов пользователей.

Мы постепенно пройдем по всем участкам. Научимся не только писать правильные вопросы для клиентов, но и разберем важные параллельные моменты.

Плюс, в конце мы приготовили бонус: готовые шаблоны с примерами разных видов опросных анкет для скачивания. Просто выбирайте нужную и давайте ее вашим клиентам.

Итак, путешествие в страну вопросов для клиентов начинается.

Часть 1. Как правильно задавать вопросы для опроса клиентов?

Прежде чем перейти к правилам подготовки вопросов для анкетирования потребителей, нужно определиться, какие задачи решают “правильные вопросы”.

Для чего они нужны? Как понять, что это не просто вопросы для галочки, а реально работающий инструмент?

Правильный вопрос помогает получить четкие ответы на главные маркетинговые “головоломки”:

Кто входит в вашу целевую аудиторию?
Не высока ли цена на ваш товар или услугу?
Что устраивает и не устраивает клиентов?
Какова степень удовлетворенности товаром и услугой?

Задавая эффективные вопросы, вы получите ответы-решения. Рычаги в виде пользовательских подсказок. Вы узнаете, что конкретно нравится / не нравится / хватает / не хватает вашим пользователям.

Вы сможете адекватно отреагировать на запросы и пожелания ваших клиентов. По сути, вы поймете, чем “дышит” ваш клиент.

Помните, ваша цель – получить качественный ответ. Не отписку на скорую руку, а правду от клиента. А как это сделать, мы расскажем ниже.

Вопрос должен быть сосредоточен на опыте взаимодействия (ОВ). Всегда. Сайт в целом или отдельный товар, не важно. Вам важно знать, всем ли ваш клиент доволен, комфортно ли ему.

Опрос или анкета должны быть короткими. Когда вы в последний раз проходили опрос, который занимал более 30 минут? Скорее всего, на экзамене в школе. Не заставляйте клиентов тратить их время на длинные анкеты. Пусть лучше потратят его на покупку.

Не нужно смешивать мух с котлетами. То есть, каждый опрос должен отражать вашу конкретную цель. Например: один опрос посвящен качеству товара, второй – удобству сайта, ещё один – для новых пользователей, и ещё один для постоянных клиентов.

Задавайте вопросы, которые предполагают развёрнутый и четкий ответ. Да, вопросы с готовыми вариантами ответов более популярны среди пользователей.

Вам же нужно копать глубже. Если хотите получить больше информации от посетителей вашего сайта, спрашивайте их «Почему?» или «Почему нет?». Спрашивайте конкретно.

Превратите «гастролёров» в «зарегистрированных пользователей». Хорошо, конечно, что посетители могут тоже отвечать на вопросы вашего опроса для пользователей. Но почему бы не превратить их в зарегистрированных пользователей?

Вы можете взять посетителя за руку и отвести его на свой лендинг. Или там же, в опросе, услужливо подсунуть форму регистрации и предложить ему зарегистрироваться.

Используйте простой язык. Не вдавайтесь в сложную терминологию, канцелярит, штампы или жаргонизмы. Чем больше человека напрягает ваш опрос, тем меньше шансов получить от него правдивые ответы. И тем менее вероятно, что он дойдет до последнего пункта вашей анкеты.

Мотивируйте. Предложите бонус, промо код, печеньки, что угодно, но заманите клиента отвечать на вопросы анкеты или опроса. Люди любят подарки. А вы любите конверсию.

И снова стоит напомнить: задавая правильные вопросы, вы получите полезные ответы. Те, которые помогут вам понять, что не так с сайтом, товаром, услугой (нужное подчеркнуть).

Часть 2. Самые полезные вопросы для опроса гостей сайта

Без долгих вступлений переходим к конкретике. К тому, что должно вас интересовать в первую очередь. Вот они, ТОП-21 самых важных вариантов вопросов для опроса пользователей:

Откуда вы узнали о нашем товаре/вебсайте?

С помощью этого вопроса вы сможете оценить свои каналы маркетинга и выяснить, где именно люди находят упоминания вашего сайта, товара или услуги. И пересмотреть свою рекламную стратегию или форматы подбора ЦА.

Будете ли вы рекомендовать наш товар, сайт друзьям и коллегам по работе?

Здесь вы конкретно увидите реакцию пользователя и уровень его удовлетворённости вашим сайтом, товаром, услугой. Если человек не собирается советовать вас кому бы то ни было, значит, он чем-то недоволен.

Спросите «почему» и узнаете, что вам стоит улучшить (предложите человеку самому написать или выбрать из нескольких вариантов ответов).

Какие ассоциации вызывают у вас мысли о нашем вебсайте/товаре?

Это отличный способ понять, как именно вас воспринимают пользователи. Каким они видят ваш сайт или товар: полезным, неудобным, качественным, экспертным, ненадежным и т.д.

Если бы наш товар/сайт был машиной, то какой?

Это вариация на тему предыдущего вопроса. Такая форма несколько необычна, но она обращает на себя внимание и мотивирует на ответ. Попробуйте сравнить свой сайт с любой вещью и узнаете, ассоциируетесь ли вы с мощным «Порше» или с медленным и хмурым «Запорожцем».

Оцените наш товар, сайт от 0 до 10

Это один из вариантов отзывов. Вы сможете четко увидеть уровень удовлетворённости клиентов.

Кого из наших конкурентов вы рассматривали, прежде чем выбрать нас?

Это отличный способ узнать своего врага в лицо. Вы даже не представляете, что можно узнать от конкурентов. А иногда вы даже не можете представить, кого люди считают вашим конкурентом. Это даст вам дополнительные преимущества.

Почему вы выбрали именно нас, а не наших конкурентов?

Отличный способ узнать свои сильные стороны в глазах клиентов. Есть десятки вариантов, почему люди выбрали именно вас: цена, бренд, функциональность, вы обещали печеньки.

С помощью этого вопроса вы узнаете, чем именно вы выгодно отличаетесь от конкурентов. И, следовательно, как использовать эти отличия для привлечения большего числа клиентов.

Наш продукт/сайт лучше, чем сайт/товар N?

Этот вопрос покажет вам сильные и слабые стороны вашего товара/сайта. Внимательно изучите товар или сайт конкурента, которого вы указали в вопросе.

Что вам больше всего/меньше всего нравится в нашем сайте/товаре?

Так вы поймете, что устраивает, а что не устраивает ваших клиентов. Нельзя добавлять новинки, фишки, если вы не решаете проблему с улучшением того что уже есть. Вопрос поможет вам сфокусироваться на усовершенствованиях и устранить течь в вашей лодке бизнеса.

Насколько просто использовать наш продукт/сайт?

Если человеку сложно ориентироваться на сайте или он не может нормально использовать то, что он у вас купил, ему будет некомфортно. А значит, он больше к вам не придет. С помощью этого вопроса вы узнаете, легко ли, комфортно ли вашим клиентам.

Предложите варианты: а) Очень просто; б) Довольно просто; в) И не просто и не сложно. Нормально; г) Довольно сложно; д) Очень сложно.

Какие качества нашего сайта или товара вам больше всего нравятся?

Это вы знаете все свои лучшие стороны и плюсы. А клиенты могут ценить вас за что-то незначительное для вас, но важное для них. Узнав о таких маленьких плюсиках, вы сможете превратить их в большие плюсы, плюсищи, чтоб и другие пользователи подтянулись.

Какие качества нашего товара/сайта вы считаете не столь важными?

Согласитесь, что важно для одного, для другого может не представлять никакой ценности. Например, меня не интересует, что шампунь теперь в новой упаковке. Мне важно, что теперь волосы после его применения путаются меньше.

Ответы на этот вопрос помогут вам отбросить то, что неважно для людей и сконцентрироваться на том, что их реально привлекает.

Как думаете, какого важного качества/функции нам не хватает?

Так вы узнаете о недостатках и слабых сторонах своего товара или сайта. Плюс, вы сможете выстроить отличную стратегию дальнейших действий.

Почему вы решили воспользоваться нашим товаром/сайтом?

Фактически это вопрос «Какую цель вы преследовали, заходя на наш сайт, покупая наш продукт?». У разных посетителей сайта разные цели. Кто-то смотрит, что у вас есть, кто-то хочет что-то купить, а кто-то хочет прочитать статью в блоге.

А кто-то, как и вы, изучает конкурента. Вам полезно будет знать, что привлекает внимание пользователей.

Почему вы решили не покупать?

Вопрос, цель которого оптимизировать путь к покупке и повысить продажи. Существует масса причин, по которым пользователь не покупает. Может быть, виновата высокая цена? Или качество? Вариантов множество. Не нужно гадать на чайном пакетике, спросите лучше пользователей.

Какой способ оплаты/доставки вы предпочитаете?

Очень часто человек отказывается от покупки просто потому, что ему не подходит способ оплаты или доставки. Например, Википедия могла бы собрать больше средств, если бы предложила оплату через Webmoney.

Убедитесь, что вы предлагаете все популярные среди ваших пользователей способы.

Вам понятны наши цены?

Как правило, клиенты могут выбрать из различных пакетов, подписок, товаров. Но всегда ли они понимают разницу в тарифах? Почему один пакет услуг стоит дороже, а другой, почти такой же, вдвое дешевле?

Каким было ваше первое впечатление от сайта?

Спрашивайте на главной странице сайта, фокусируйтесь на новых посетителях.

Чего не хватает на этой странице?

Страницы вашего сайта должны давать пользователям всю информацию, которая им нужна. Стремясь к этому и пытаясь дать кучу всего и обо всём, вы можете превратить сайт в свалку информации. И все равно не дать конкретно того, что ищут клиенты.

А этот вопрос поможет выявить чёткие потребности и интересы пользователей.

Какие ваши любимые блоги?

Корпоративный блог – это отличная штука для увеличения потока посетителей сайта. Но какой блог будет популярным? Спросите клиентов.

Почему вы уходите с нашего сайта и что мы можем сделать, чтобы вы вернулись?

Так вы можете пробудить у пользователей чувство симпатии к вам и выяснить, что им не нравится на вашем сайте.

Основные вопросы для опроса пользователей мы перечислили. Теперь настало время легкой артиллерии. Дополнительные вопросы, которые помогают более четко раскрыть суть и понять то, что не охватили основные вопросы пользователей.

10 дополнительных вопросов клиентам, которые можно задать

Когда вам помогла наша услуга, сайт, сервис, товар?
Вы платили за какой-либо из этих товаров или инструментов?
Что вам понравилось или не понравилось в этих товарах, инструментах?
Вы сильно огорчитесь, если этого товара или сайта больше не будет?
Какими ещё продуктами вы пользуетесь для выполнения подобных задач?
Если бы вы могли изменить одну вещь на сайте или в продукте, чтобы это было?
Как часто вы используете товар, сайт?
Что вас удивило в товаре?
Какие задачи вы выполняете чаще всего, используя этот продукт?
Мы ответили на все ваши вопросы в статье?

С вопросами мы определились, теперь сладкое. Шаблоны опросных анкет.

Часть 3. 7 шаблонов для опросов пользователей

Это уже готовые шаблоны для анкетирования пользователей. Мы постарались создать их таким образом, чтобы “свою анкету” нашли самые разные ниши и направления бизнеса. Вы можете скачать их и пользоваться “из коробки”. А можете дополнить или изменить.

Шаблон для определения уровня удовлетворённости клиентов

Анкета опроса покупателей в магазине

Шаблон для опроса пользователей продукта

Анкета опроса клиентов о качестве обслуживания

Опрос участников мероприятия (конференции, семинары, концерты)

Опрос пользователя услуг

Опрос партнёров компании

Напоследок. Пара дельных советов по опросам

Составляя вопросы для опроса пользователей, помните о цели, которую вы преследуете. Если вы хотите узнать всё о своей службе поддержки, то и вопросы должны быть соответствующие. Не задавайте в этой анкете вопросы о качестве товара. И наоборот. Опросник о товаре не должен спрашивать о службе поддержки.

Вы можете использовать различные виды вопросов: с выбором вариантов или с открытой формой для ответа. Главное, дать возможность пользователю ответить наиболее полно и чётко.

Не забывайте о важности стиля, который вы используете. То есть, если общий тон вашего сайта очень серьезный, не используйте шутки-прибаутки в анкетах для опроса пользователя. И наоборот, если в материалах, статьях, блоге приветствуется простое общение, не нужно превращать опрос в консилиум профессоров.

Конечно, если вы проводите опрос партнёров компании, не стоит строить из себя клоуна. Здесь лучше взять нейтрально-деловой стиль общения и опроса. Но опять же, всё зависит от того, каков общий тон вашего сайта и общения с партнёрами.

Помните, что наши шаблоны опросов для скачивания – не истина в последней инстанции. Это, скорее, ориентир и пример того, как выглядит анкета, опрос для потребителей ваших услуг, товаров, пользователей сайта.

Вы всегда можете его дополнить или перестроить под себя. Считайте, что это скелет и ориентир для ваших опросов. Пользуйтесь, узнавайте о своих плюсах и минусах, повышайте конверсию. И всё у вас будет хорошо. Хороших вам конверсий.

И добра вам, конечно!

Опечатка? Пожалуйста, выделите её и нажмите Ctrl+Enter. Спасибо!

Профессиональный копирайтер

Источник

Чтобы рассчитать количество респондентов, обратитесь к статистическому анализу и отталкивайтесь от размера генеральной совокупности и требуемой точности. Если вы не эксперт в этой сфере, исходите из задачи и бюджета.

Опрос до 300 человек. Например, вы подготовили концепцию дизайна продукта и хотите на ранних этапах узнать, стоит ли выделять на это ресурсы — опросите до 300 человек. Такой опрос стоит недорого, а собранные данные позволят вам сделать выводы.

Опрос на 1000 человек. Например, ваша цель — узнать, насколько бренд известен в России. Тогда нужно минимум 1000 ответов.

Яндекс Взгляд позволяет опросить до 2000 человек. Подробнее в сравнении конструкторов опроса.

Добавьте приглашение. Объясните респонденту, какая цель исследования и зачем ему проходить опрос. Дайте краткую инструкцию по заполнению, если она нужна. Четко сформулируйте правила, чтобы их можно было понять с первого раза.

Плохо	Хорошо
Выберите варианты ответов ниже.	Мы стремимся сделать наш сервис лучше. Пожалуйста, выберите варианты ответа, которые наиболее точно описывают наш продукт.

Продумайте расположение вопросов. Разместите вопросы от простых к сложным, чтобы респондент с большей вероятностью прошел опрос до конца.

Плохо	Хорошо
Сколько вам лет? Как часто вы пользуетесь нашими услугами? Почему вы выбрали именно нашу компанию?	Почему вы выбрали именно нашу компанию? Как часто вы пользуетесь нашими услугами? Сколько вам лет?

Поблагодарите пользователя. Поблагодарите пользователей за участие в исследовании. Можно добавить поле для замечаний и обратной связи.

Плохо	Хорошо
Спасибо, что выбрали нашу компанию.	Спасибо за участие в исследовании. Мы будем рады, если вы оцените опрос.

Придумайте понятные вопросы. Формулируйте мысли однозначно, без скрытого подтекста и сложных оборотов. Придерживайтесь правила: один вопрос — одна тема.

Плохо	Хорошо
Согласны ли вы с тем, что в наших ресторанах быстро обслуживают и хорошо готовят?	Нравится ли вам обслуживание в наших ресторанах?
Вы довольны качеством еды и напитков?

Используйте простые термины. Не используйте сложные термины, которые требуют от пользователя специальных знаний.

Плохо	Хорошо
Вы пользуетесь хинтами, чтобы разобраться с функциями кнопок?	У каждой кнопки есть всплывающая подсказка — нужно навести на кнопку указатель мыши и чуть-чуть подождать. Вы видели такие подсказки?

Соблюдайте логику. Если респондент уже сказал, что не пользуется сервисом, не стоит спрашивать о частоте использования. Чтобы избежать логических ошибок, настройте условия показа вопросов.

Плохо	Хорошо
Вы были в нашем ресторане? Вам понравилась музыка? Вы видели рекламу ресторана?	Вы были в нашем ресторане? Если был: Вам понравилась музыка? Вы видели рекламу ресторана?

Задавайте вопросы объективно. Вопросы не должны содержать качественных оценок и подсказывать пользователю «правильный ответ». Не давите на респондента явно или скрыто — дайте возможность поделиться собственными впечатлениями.

Плохо	Хорошо
Что вы думаете о приветливых менеджерах по работе с клиентами нашей компании?	Как быстро вы получили ответ от менеджера по работе с клиентами нашей компании?
Хотели бы вы получить приложение, которое за год научит вас французскому языку?	Нужно ли вам приложение для изучения французского?

Охватите все варианты. Старайтесь предусмотреть все возможные ответы и разделить их на варианты так, чтобы пользователь легко выбрал нужный. Это особенно важно, если нельзя написать свой вариант ответа.

Плохо	Хорошо
Когда вы в последний раз пользовались нашим приложением? Вчера Два-три дня назад Неделю назад Две недели назад Месяц назад	Когда вы в последний раз пользовались нашим приложением? Вчера или сегодня От трех до семи дней назад Несколько недель назад Больше месяца назад

Плохо

Хорошо

Когда вы в последний раз пользовались нашим приложением?

Вчера
Два-три дня назад
Неделю назад
Две недели назад
Месяц назад

Когда вы в последний раз пользовались нашим приложением?

Вчера или сегодня
От трех до семи дней назад
Несколько недель назад
Больше месяца назад

Придумайте уникальные ответы. Пользователь запутается, если разница в ответах небольшая. Это особенно важно, когда есть только один вариант ответа. Но даже если вариантов несколько, старайтесь не делать их слишком близкими по смыслу.

Плохо	Хорошо
Зачем вы обычно ходите на наши конференции? Пообщаться с коллегами Лучше изучить индустрию Расширить кругозор	Зачем вы обычно ходите на наши конференции? Пообщаться с коллегами Узнать что-то новое в индустрии Поработать: я спикер

Плохо

Хорошо

Зачем вы обычно ходите на наши конференции?

Пообщаться с коллегами
Лучше изучить индустрию
Расширить кругозор

Зачем вы обычно ходите на наши конференции?

Пообщаться с коллегами
Узнать что-то новое в индустрии
Поработать: я спикер

Пишите просто и понятно. Избегайте формального стиля. Живой естественный язык в опросе дает пользователю понять, что его ответ вам интересен.

Плохо	Хорошо
Какова наиболее частая цель посещения вами нашего сайта?	Зачем вы обычно заходите на наш сайт?

Формулировки должны быть без жаргона, разговорных выражений и канцеляризмов.

Плохо	Хорошо
Случился крэш приложения	Приложение неожиданно закрылось
Ага	Да
Я являюсь программистом	Я программист

В вопросах используйте второе лицо, а в ответах — первое. В вопросах вы всегда обращаетесь к читателю, поэтому выбирайте второе лицо местоимений и глаголов.

Исключение: вопросы-утверждения, с которыми нужно согласиться или нет. В ответах лучше использовать первое лицо или безличную форму, где это возможно.

Плохо	Хорошо
Я доволен этим приложением Верно Неверно	Нравится ли вам приложение? Да Нет
Для чего вы чаще всего заходите на наш портал? Читаете статьи Общаетесь с другими пользователями Смотрите видеоролики	Для чего вы чаще всего заходите на наш портал? Читаю статьи Общаюсь с другими пользователями Смотрю видеоролики
Для чего вы чаще всего заходите на наш портал? Почитать статьи Пообщаться с другими пользователями Посмотреть видеоролики

Плохо

Хорошо

Я доволен этим приложением

Верно
Неверно

Нравится ли вам приложение?

Да
Нет

Для чего вы чаще всего заходите на наш портал?

Читаете статьи
Общаетесь с другими пользователями
Смотрите видеоролики

Для чего вы чаще всего заходите на наш портал?

Читаю статьи
Общаюсь с другими пользователями
Смотрю видеоролики

Для чего вы чаще всего заходите на наш портал?

Почитать статьи
Пообщаться с другими пользователями
Посмотреть видеоролики

Ведите диалог с пользователем. В удачно составленном опросе вопрос и ответ складываются в естественный диалог. Вместо того чтобы предлагать пользователю закончить фразу, лучше задать ему прямой вопрос.

Плохо	Хорошо
Вы предпочитаете смотреть новости: В соцсетях В СМИ Через Яндекс Новости Другое	Где вы читаете новости? В соцсетях В СМИ На сервисе Яндекс Новости Другое
	Отметьте, где вы читаете новости: Соцсети СМИ Сервис Яндекс Новости Другое

Плохо

Хорошо

Вы предпочитаете смотреть новости:

В соцсетях
В СМИ
Через Яндекс Новости
Другое

Где вы читаете новости?

В соцсетях
В СМИ
На сервисе Яндекс Новости
Другое

Отметьте, где вы читаете новости:

Соцсети
СМИ
Сервис Яндекс Новости
Другое

Используйте универсальные формулировки. Если среди ваших респондентов есть и мужчины, и женщины, старайтесь формулировать вопросы и ответы так, чтобы они подходили всем.

Плохо	Хорошо
С какими неудобствами вы столкнулись при вызове технической помощи? Долго ждал помощи, а она не приехала.	С какими неудобствами вы столкнулись при вызове технической помощи? Пришлось долго ждать помощи, которая так и не приехала.

Плохо

Хорошо

С какими неудобствами вы столкнулись при вызове технической помощи?

Долго ждал помощи, а она не приехала.

С какими неудобствами вы столкнулись при вызове технической помощи?

Пришлось долго ждать помощи, которая так и не приехала.

Источник

Учебное пособие: Анкетирование, составление анкет

Теоретическая часть

Практическая часть

Программа исследования

Анкетирование в социологии – общее понятие, цели и задачи

Виды анкетирования

Анкета и ее структура

Вводная часть

Паспортичка

Основная часть

Виды вопросов для анкеты

Как составить анкету для социологического опроса

Правила составления анкеты

Как оформить результаты анкетирования

Плюсы и минусы анкетирования

Часть 1. Как правильно задавать вопросы для опроса клиентов?

Часть 2. Самые полезные вопросы для опроса гостей сайта

10 дополнительных вопросов клиентам, которые можно задать

Часть 3. 7 шаблонов для опросов пользователей

Шаблон для определения уровня удовлетворённости клиентов

Анкета опроса покупателей в магазине

Шаблон для опроса пользователей продукта

Анкета опроса клиентов о качестве обслуживания

Опрос участников мероприятия (конференции, семинары, концерты)

Опрос пользователя услуг

Опрос партнёров компании

Напоследок. Пара дельных советов по опросам

Вам также может понравиться

Как найти форму слова картинки

Как нашли аню анисимову

Как составить бизнес план производственного предприятия

Добавить комментарий Отменить ответ