Как составить шкалу оценивания

Предыдущий урок был посвящен созданию тестов, на текущем уроке речь пойдет о настройке шкал оценивания, с помощью которых можно выставлять итоговую оценку участникам тестирования по набранному результату.

Создание шкалы оценки

На одном из первых уроков для теста мы создали шкалу оценки по шаблону, сейчас мы изменим ее в соответствии со своими предпочтениями.

Сперва войдем в административную панель онлайн системы тестирования, войдем в проект, в нашем случае он называется «Космическое тестирование» и перейдем на вкладку Шкалы.
Шкалы оценки

Перед нами доступна шкала, созданная по шаблону, с названием «Шкала оценки». Мы можем изменить ее, а можем создать новую шкалу, используя ссылку Создать шкалу.

Создадим новую шкалу. Нажимаем на ссылку Создать шкалу, перед нами открывается форма с тремя стандартными уровнями шкалы.
Уровни шкалы оценки

Сперва нам нужно присвоить название нашей шкале, назовем ее так «Насколько хорошо я знаю космос», название может быть любым, оно может ограничиваться только Вашей фантазией.

Затем нам нужно выбрать тип используемой шкалы оценивания. По умолчанию задается Процентная шкала оценки, которая будет оценивать по проценту набранных баллов. Например, если в тесте представлено 10 заданий и участник тестирования отвечает на 7, то его оценка составит 70%.

Здесь же можно выбрать балльную шкалу оценки, которая будет оценивать по количеству набранных баллов. Для ее использования нужно каждому тестовому заданию задать способ оценки результатов – сумма баллов выбранных ответов. При создании тестовых заданий, мы использовали дихотомическую оценку (0/1), которая предполагает либо правильный ответ на задание, либо неправильный, поэтому для создания шкалы будем использовать процентный тип.

Далее нужно решить сколько уровней оценивания мы будем использовать. Количество уровней в процентной шкале оценивания может быть от 1 до 100. Зададим 4 уровня оценки: плохо, удовлетворительно, хорошо и отлично. Каждому уровню присвоим интервал баллов, например, такой:

  • плохо – от 0 до 40%
  • удовлетворительно – от 41% до 60%
  • хорошо – от 61% до 80%
  • отлично – от 81% до 100%

Важно, чтобы интервалы у уровней не перекались и последний уровень оканчивался на 100%, иначе при сохранении система тестирования выдаст сообщение об ошибке.

Кроме того, для каждого уровня Вы можете задать подробное описание, которое увидит участник тестирования к своему результату.

Вот, что в итоге у нас получилось.
Заполнение шкалы оценки

Если все устраивает, можно нажимать кнопку Сохранить.

Шкала оценивания сохранена и представлена с тем названием, которое мы ей присвоили на вкладке Шкалы.
Название шкалы оценки

Добавление шкалы оценки тесту

Шкала создана, теперь нужно назначить ее использование в нужном нам тесте. Если у Вас создано несколько тестов, то для каждого из них Вы можете задать свою шкалу оценивания и, при необходимости, менять их в любой момент.

У нас создан пока только 1 тест, но уже есть 2 шкалы и нам нужно поменять прежнюю шкалу на только что созданную. Для этого заходим во вкладку Тесты и нажимаем ссылку Изменить возле нужного нам теста, в нашем случае теста о космонавтике.
Выбор шкал оценки

В настройках теста переходим к вкладке Результаты и в выпадающем списке Использовать шкалу выбираем шкалу с присвоенным нами названием – Насколько хорошо я знаю космос.
Выбор шкалы оценки

После этого нажимаем кнопку Сохранить и теперь наш тест будет оцениваться по новой шкале.

Шкала оценки в действии

Для просмотра того, что у нас получилось, нам нужно перейти на страницу виртуального центра тестирования и пройти тест. Переходим на вкладку Центры и кликаем по ссылке, указанной в столбце Веб-ссылка.
Ссылка на страницу тестов

Перед нами откроется публичная страница, ссылку на которую Вы можете скопировать и отправить участникам тестирования.
Доступные тесты

Заходим в тест и отвечаем на задания. После того, как все задания будут решены, нажимаем кнопку Завершить тест.
Процесс тестирования

И подтверждаем наше намерение, если оно было неслучайным.
Завершение теста

Данные тестирования сохраняются в онлайн системе тестирования и участник тестирования видит свой результат, набранный балл и диаграмму по темам тестирования.
Диаграмма теста

Настройка страницы результатов

Во вкладке Результаты в настройках теста можно задать несколько вариантов отображения, которые увидит участник тестирования. Рассмотрим эти варианты.

Возвращаемся в настройки нашего теста ТестыИзменить, вкладка Результаты.
Измеряемый показатель

Здесь можно задать Измеряемый показатель, это название увидит участник тестирования на странице результатов. Присвоим ему название – Знания космонавтики.

Далее идет настройка Оценивать уровень по шкале, которая задает шкалу оценивания. Ее использование мы рассмотрели выше.

Затем настройка Показать уровень и итоги теста.
Уровень и итоги теста

Если отключить ее, то страница результатов будет выглядеть так.
Результаты тестирования

Не показана ни оценка, ни описание, которые мы задавали к уровням шкалы.

Если отключить настройку Показать набранный балл и диаграмму.
Набранный балл и диаграмма

Страница результатов будет выглядеть следующим образом.
Страница результатов тестирования

Ничего лишнего, не правда ли?

Какой вид страницы результатов показывать участникам тестирования – выбирать Вам, можете поэкспериментировать.

Кроме того, Вы можете задать URL-адрес для перехода после завершения теста в соответствующем поле в настройках теста.
Переход на сайт после окончания тестирования

Это позволит Вам перенаправить участников тестирования на указанный адрес при нажатии кнопки Выйти на странице результатов тестирования.
Выход из теста

Желаем успехов в создании собственных тестов и настройке шкал оценивания!

Пройти тест, используемый в данном уроке, можно по ссылке http://app.startexam.com/Center/Web/kosmos

Узнайте больше о системе тестирования

Добавление заданий в систему тестирования

Урок 3. Создание тестовых заданий

Добавляйте тестовые задания в систему тестирования, распределяйте их по темам и настраивайте выборки.

Шкала оценок: Определение, типы опросных вопросов и примеры

Опубликовано 2023-02-11 19:54 пользователем

Шкала оценок

Что такое определение шкалы оценок.

Шкала оценок – это вопрос закрытого опроса, используемый для представления отзывов респондентов в сравнительной форме по конкретным характеристикам/продуктам/услугам. Это один из самых распространенных типов вопросов для онлайн и офлайн опросов, в которых респонденты должны оценить атрибут или характеристику. Шкала оценок – это вариант популярного вопроса с множественным выбором, который широко используется для сбора информации, предоставляющей относительные сведения о конкретной теме.

Исследователи используют шкалу оценок в исследованиях, когда они намерены связать качественную меру с различными аспектами продукта или характеристики. Как правило, эта шкала используется для оценки эффективности продукта или услуги, навыков сотрудников, качества обслуживания клиентов, стратегии “клиент – первый”, процессов, выполняемых для достижения определенной цели, и т. д. Вопрос опросника с рейтинговой шкалой можно сравнить с вопросом с флажком, но рейтинговая шкала предоставляет больше информации, чем просто “Да/Нет”.

4 типа рейтинговых шкал

В широком смысле рейтинговые шкалы можно разделить на две категории: ординальные и интервальные.

Порядковая шкала – это шкала, в которой варианты ответов изображаются в упорядоченном виде. Разницу между двумя вариантами ответа можно не вычислять, но варианты ответов всегда будут расположены в определенном внутреннем порядке. Такие параметры, как отношение или обратная связь, могут быть представлены с помощью порядковой шкалы.

Узнайте больше: Порядковые данные

Интервальная шкала – это шкала, в которой не только установлен порядок переменных ответов, но и можно вычислить величину разницы между каждой переменной ответа. В интервальной шкале отсутствует абсолютное или истинное нулевое значение. Температура по Цельсию или Фаренгейту является наиболее популярным примером интервальной шкалы. Net Promoter Score, шкала Лайкерта и биполярная матричная таблица – одни из самых эффективных ее типов.

Узнайте больше: Интервальные данные

Четыре основных типа рейтинговых шкал могут быть использованы в онлайн-опросе:

  • Графическая
  • Числовая
  • Описательная
  • Сравнительная
  1. Графическая рейтинговая шкала: Она обозначает варианты ответов по шкале 1-3, 1-5 и т.д. Шкала Лайкерта является популярным примером графической шкалы оценок. Респонденты могут выбрать определенный вариант на линии или шкале, чтобы изобразить оценку. Эта шкала оценки часто применяется менеджерами по персоналу для проведения оценки сотрудников.5-точечная шкала лайкерта для удовлетворенности
  2. Цифровая шкала оценки: Она имеет числа в качестве вариантов ответа, и не каждое число соответствует характеристике или значению. Например, визуально-аналоговая шкала или шкала семантического дифференциала могут быть представлены с помощью числовой шкалы. числовая шкала рейтингаimage
  3. Описательная шкала оценок: В описательной шкале каждый вариант ответа подробно объясняется респондентам. Численное значение не всегда связано с вариантами ответов в описательной шкале. Существуют определенные опросы, например, опрос об удовлетворенности клиентов, в которых необходимо подробно описать все варианты ответов, чтобы каждый клиент получил подробную информацию о том, что ожидается от опроса.
  4. Сравнительная шкала оценок: Как следует из названия, она предполагает, что респонденты будут отвечать на конкретный вопрос с точки зрения сравнения, т.е. на основе относительного измерения или соблюдения правил.т.е. на основе относительного измерения или с учетом других организаций/продуктов/функций.

Примеры рейтинговой шкалы вопросов

Вопросы рейтинговой шкалы широко используются в опросах об удовлетворенности клиентов и сотрудников для сбора подробной информации. Вот несколько примеров таких вопросов –

  • Степень согласия: Организация намерена повысить эффективность работы своих сотрудников. После организации многочисленных курсов и сертификаций для сотрудников руководство решает провести опрос, согласны ли сотрудники с идеологией, лежащей в основе этих сертификаций. Для оценки степени согласия можно использовать такие вопросы, как четная шкала Лайкерта или нечетная шкала Лайкерта.
    • 5-балльная шкала Лайкерта

5-балльная шкала лайкерта для согласия

  • Клиентский опыт: Важно собирать информацию о клиентском опыте. Для организаций важно собирать в реальном времени подробную информацию об опыте покупки продукта или услуги. Вопрос с рейтинговой шкалой, такой как Семантическая дифференциальная шкала, может помочь руководству организации собрать и проанализировать информацию о клиентском опыте.
  • Шкала семантического дифференциала

image

  • Анализ лояльности к бренду: Организации процветают благодаря лояльности клиентов к их бренду. Но лояльность к бренду – это фактор, который необходимо регулярно отслеживать. Использование вопроса с рейтинговой шкалой, такого как Net Promoter Score, может помочь организациям получить в режиме реального времени подробную информацию о лояльности клиентов и распространяемости бренда. Вопрос по рейтинговой шкале: “По шкале от 0 до 10, учитывая ваш опыт покупки, насколько вероятно, что вы порекомендуете наш бренд своим друзьям и коллегам?” может быть эффективным для мониторинга удовлетворенности и лояльности клиентов.

Net promoter score question

.

Как написать вопрос для шкалы оценок

В этом коротком объясняющем видео рассматривается популярная шкала оценок и шаг за шагом рассказывается о том, как преобразовать вопрос, чтобы он соответствовал лучшим практикам.

Использование

  • Получение относительной информации о конкретном предмете: При объеме выборки в 1000 человек у каждого из них будет свой взгляд на тему. Сбор сравнительной информации об уровне удовлетворенности, частоте использования, лояльности и многих других подобных параметрах.
  • Сравнение и анализ данных: Исследователи могут собрать объективные данные от целевой аудитории и проанализировать их с помощью программ для онлайн-опросов, таких как . Если вопрос с рейтинговой шкалой используется на значительной выборке, есть шанс, что погрешность в полученных данных может быть уменьшена или устранена.
  • Измерение одного важного элемента продукта/услуги: Бывают опросы, в которых определенные темы должны быть рассмотрены конкретно, чтобы лучше понять целевой рынок. В таких случаях, когда необходимо проанализировать несколько важных элементов, можно использовать рейтинговые шкалы. Например, для измерения степени согласия, частоты, удовлетворенности и т.д.

Преимущества

Преимущества рейтинговой шкалы

  • Вопросы рейтинговой шкалы просты для понимания и применения.
  • Предлагает сравнительный анализ количественных данных в рамках целевой выборки для принятия исследователями обоснованных решений.
  • Используя графические рейтинговые шкалы, исследователям легко создавать опросы, поскольку на их настройку уходит меньше всего времени.
  • С помощью рейтинговой шкалы можно собрать и проанализировать большое количество информации.
  • Анализ ответов, полученных на вопросы рейтинговой шкалы, проводится быстро и занимает меньше времени.
  • Шкала оценок часто рассматривается как стандарт для сбора качественной и количественной информации для исследований.

Шкалы оценок в библиотеках шаблонов

предоставляет различные типы шкал оценок, чтобы помочь вам определить, как конкретный респондент относится к определенному вопросу. Существует несколько способов создания опроса с использованием шкалы оценок, включая выбор из готового шаблона, импорт существующего опроса или создание совершенно нового опроса.

Библиотека шаблонов

Библиотека шаблонов содержит более 100 шаблонов, каждый из которых можно настраивать, чтобы вы могли определить, какая шкала оценок соответствует вашим потребностям. Прежде чем сесть за стол и выбрать тип опроса, который вы хотите провести, всегда лучше подумать заранее и определить, какие данные вы хотите получить. Если вы новичок в создании опросов и не уверены, какие типы шкал оценок вам нужны, ознакомьтесь с обширной библиотекой шаблоно, чтобы начать мозговой штурм.

Импортирование и копирование опросов

Еще один вариант для тех, кто уже использует , – импортировать существующий опрос. Это позволит вам взять идеи и поток ранее созданного опроса и либо повторно использовать его, либо отредактировать. Кроме того, вы всегда можете использовать Microsoft™ Word™ для создания импортируемого опроса, который затем можно отредактировать и внедрить необходимые вам шкалы оценок. Это очень удобно, если опрос с определенными шкалами оценок администрирует один конкретный пользователь, не являющийся автором опроса.

Создание опроса с нуля

Если ни один из этих вариантов не подходит для ваших нужд, вы всегда можете создать опрос с нуля и добавить в него нужные вам шкалы оценок. Помимо интуитивно понятного интерфейса, предоставит вам на выбор различные типы вопросов и шкалы оценки, необходимые для сбора нужных данных.

Рубрика: 

  • Бизнес

Ключевые слова: 

  • Опросы

Автор: 

  • Adi Bhat

Источник: 

  • questionpro

Перевод: 

  • Дмитрий Л

Глава вторая. Сбор и типология данных в процессе

шкалирования

В предыдущей главе было установлено, что шкалирование представляет собой сложный процесс отображения эмпирической системы с отношениями в числовую систему.

Неотъемлемой частью общего процесса шкалирования является построение эмпирической системы с отношениями. Построение эмпирической системы с отношениями также состоит из нескольких этапов. Рассмотрим в деталях, как происходит реализация процедуры построения эмпирической системы с отношениями в социологическом исследовании.

Первая же задача, которая возникает перед исследователем, намеревающимся построить шкалу, состоит в выяснении того, будут ли в конечном счете числа приписаны объектам, внешним по отношению к исследуемой совокупности людей, либо числа будут приписаны определенным внутренним характеристикам индивидов.

Исторически сложилось так, что социологическое шкалирование тесно связано с психологическим измерением, которое возникло и развивалось по двум относительно независимым направлениям.

Первое направление основано на психофизической традиции измерения, которая заключается в измерении величины, интенсивности, продолжительности поведенческих реакций на предъявляемые объекты1. Основная задача такого измерения состояла в оценке величины стимула через величину поведенческой реакции2.

Второе направление связано с тестированием (menial test tradition) — традицией,

концентрирующей свое внимание на индивидуальных различиях респондентов по их личностным характеристикам.

Поскольку социолога, как правило, интересует величина или интенсивность поведенческой реакции не отдельных людей, а группы респондентов, традиция психофизического измерения в социологии связывается с измерением «величины» предъявляемых объектов группой людей и взаимным расположением этих объектов вдоль некоторого континуума.

1Мы будем употреблять понятие «объект» как нечто внешнее по отношению к респонденту или группе респондентов. В рамках психофизической традиции измерения обычно используется термин «стимул».

2Так, например, предполагалось, что величина поведенческой реакции пропорциональна логарифму стимула. Измерив с помощью эксперимента величину поведенческой реакции, можно приписать число предъявляемому стимулу.

38

Тестовая традиция в современной социологической практике расширилась и связана не только с измерением знаний, умений и личностных характеристик людей, но и с измерением установок, отношений.

Таким образом, выделяются два типа задач, решаемых с помощью шкалирования.

А. Числа приписываются некоторым внутренним характеристикам индивидов

1. Пусть эмпирической системой является совокупность людей и отношения в эмпирической системе суть отношения между личностными характеристиками субъектов, их знаниями, умениями. Отображение такой эмпирической системы в числовую будем называть тестированием. Элементарный пример тестирования — выставление оценок на экзаменах.

Индивид, получивший оценку 4, предполагается более сведущим в данной области знания,

чем индивид, получивший оценку 3.

Тесты в их современном виде широко используются в психологии и социальной психологии, реже — в социологии. Пример социально-психологического тестирования — тест-вопросник для измерения потребности в достижениях3. Он состоит из 22 суждений, по отношению к которым респондент должен выразить свое согласие или несогласие.

Например: «Думаю, что успех в жизни зависит скорее от случая, чем от расчета», «Когда все идет гладко, моя энергия усиливается» и т.п. Каждое такое суждение имеет ключ, и, если ответ испытуемого совпадает с ключом, он получает 1 балл. Потребность в достижениях подсчитывается простым суммированием баллов по всем суждениям. Этот тест-вопросник валидизирован и использовался для измерения потребности в достижениях среди студентов,

ИТР и других групп молодежи.

2. Эмпирической системой является совокупность людей, и отношения в эмпирической системе заданы в виде отношений между людьми, опосредованных через устойчивое отношение каждого из них к изучаемой социальной характеристике

(образованию, работе и т.п.). Отображение такой эмпирической системы в числовую будем называть шкалой для измерения установки (установочной шкалой)4.

Построение шкалы для измерения установки сводится к отысканию набора суждений,

характеризующих весь спектр возможных отношений субъекта к данной социальной характеристике. Респондента просят ответить, согласен ли он с каждым таким суждением. В

3 Орлов Ю.М., Шкуркин В.И., Орлова Л.П. Построение теста-вопросника для измерения потребности в достижениях.— В кн.: Вопросы экспериментальной психологии и ее истории. М., 1974.

4 Социологическая концепция установки была выдвинута Томасом и Знанецким в 1927г., интерпретировалась затем как «предрасположение к действию» и оставалась теоретической основой для изменения установки. Первой попыткой практического измерения установки была шкала социальной дистанции, построенная Богардусом совместно с Робертом Парком в 1925 г. В 1927 г. была разработана шкала Терс тоуна для измерения установки, а в 1932 г.— шкала суммарных оценок Лайкерта. Сразу же после второй мировой войны на основе исследований американских солдат были разработаны процедуры шкалограммного анализа (Гуттман), а затем и латентно-структурного анализа Лазарсфельда (History of Social Research Methods. London, 1974, p. 120-130).

39

зависимости от ответов на серию таких вопросов ему приписывается балл, характеризующий его установку5.

3. Специфической задачей по сравнению с измерением установки является шкалирование отношений, интенсивности мнений, степени удовлетворенности чем-либо и т.д. Эмпирической системой в данном случае является совокупность людей, а отношения заданы в виде отношений между людьми, опосредованных через менее устойчивое отношение каждого из них к данной социальной характеристике. В качестве примера такой эмпирической системы можно привести пример 1 из главы I. Отображение такой эмпирической системы в числовую будем называть шкалой для отношений (следует отличать от шкалы отношений как уровня измерения).

Может создаться впечатление, что различие между шкалами для измерения установок и шкалами для отношений незначительно. Действительно, и в том и в другом случае числа приписываются людям, а эмпирические системы с отношениями аналогичны. Тем не менее между ними существуют различия как содержательного, так и практического характера.

Содержательное различие заключается в том, что приписываемые субъектам числа интерпретируются по-разному. При измерении установки эта числа трактуются как степень выраженности установки, ее интенсивности. При измерении отношений (мнений,

удовлетворенности и т.п.) числа характеризуют конкретное, сиюминутное отношение,

предположительно не связанное с системой ценностей субъекта.

Практическое различие состоит в том, что для измерения установки часто требуется специальная, иногда громоздкая процедура, ведущая к значительным затратам времени, а

для измерения отношений бывает достаточно простого вопроса в анкете. Этим обстоятельством обусловлен тот факт, что в отечественной социологической практике гораздо чаще применяются шкалы для измерения отношений, интенсивности мнений,

степени удовлетворенности. По нашим данным, не менее чем в 70% всех опросов,

проведенных в стране за период с 1964 по 1974 г., применялись именно эти шкалы6.

Б. Числа приписываются объектам, внешним по отношению к исследуемой совокупности людей

В отличие от первого типа задач, в котором числа приписываются индивидам, во второй модели числа присваиваются предъявляемым объектам по групповым оценкам.

5О процедурах построения установочных шкал разного вида см.: Андреев Э.П., Осипов Г.В. Методы измерения в социологии. М., 1977; Зайцева М.И. Методы шкалирования при измерении установки. — Социальные исследования, вып. 5. М., 1970; Ядов В.А. Социологическое исследование. Методология, программы, методы. М., 1972.

6См.: Клигер С.А. Некоторые ошибки при опросах: постановка вопросов в анкетах и опыт использования шкал.— Социологические исследования, 1974, № 2.

40

Подобные задачи встречаются в социологической практике довольно часто, когда требуется оценить такие социальные характеристики, как, например, набор профессий,

общественные и индивидуальные ценности, различные стороны деятельности трудовых коллективов, набор телепередач и т.д.

В этом случае эмпирическая система представляет собой совокупность объектов,

предъявляемых респондентам для оценки. Отношения между элементами эмпирической системы есть отношения между объектами, усредненные по группе респондентов. Примером такой эмпирической системы с отношениями может служить пример 2 из главы I.

Отображение этой эмпирической системы в числовую будем называть шкалой оценок.

Все дальнейшее изложение будет посвящено в основном шкалам оценок7, т.е. задаче приписывания чисел объектам, хотя рассмотренные в предыдущей главе основы шкалирования относятся в равной мере к шкалам оценок и установочным шкалам.

Следует отметить, что в практике социологических исследований иногда возникают более общие и сложные задачи: не только оценить объекты и приписать им числа, но и найти числовые значения для каждого из субъектов в зависимости от высказанного им отношения к оцениваемым объектам. В данном случае речь идет об отображении в одну и ту же числовую систему двух разных эмпирических систем с отношениями. Одномерный и многомерный варианты такой ситуации будут рассмотрены нами соответственно в главах III и IV.

2. Процедуры сбора и типология данных для шкал оценок

Процедуры сбора данных в процессе шкалирования. Процедурой сбора данных в процессе шкалирования будем называть специальный вопрос (задание) или серию вопросов в анкете (вопроснике), которые позволяют провести

сравнение предъявляемых объектов,

непосредственную оценку их,

сравнение или оценку пар предъявляемых объектов по степени «сходства»8.

Социологической практикой в последние годы накоплен достаточно большой опыт в использовании процедур такого рода.

Сбор данных в социологическом исследовании может производиться тремя методами:

наблюдениями, анализом документов, методом опроса, причем эти методы могут

7 Одну из первых попыток классификации шкал оценок предпринял Гилфорд (Guilford J.P. Psychometric methods. N.Y., 1954). Более современную классификацию предлагают Эйзлер и Шинн (Eisler H. The Connection between Magnitude and Discrimination scales and Direct and indirect Scaling Methods.— Psycho-metrika, 1965, N 30; Shinn A.M. Relations between Scales.— In: Measurement in the Social Science. Chicago, 1974.

8 В этом определении мы сознательно ограничиваемся набором заданий, наиболее часто встречающихся на практике. В принципе этот набор всегда может быть дополнен.

41

использоваться как по отдельности, так и в различных сочетаниях9. Описанные выше процедуры являются характерными для метода опроса.

Для выяснения различных аспектов использования таких процедур сбора данных при опросах нами был проанализирован большой массив методических документов сбора информации (анкет, вопросников для интервью и т.д.). Сплошному анализу были подвергнуты 254 документа по шести отраслям (направлениям) социологических исследований в стране за период с 1964 по 1974 г.10 В результате было выделено 107 случаев использования процедуры сбора данных в процессе шкалирования, группировка которых по отраслям представлена в табл. 2.

Таблица 2

Распределение процедур сбора данных по некоторым отраслям социологии *

Отрасли

Количество

Число процедур

документов

Промышленное производство

83

29

Социальная структура

22

7

Сельское хозяйство

14

15

Наука

15

19

Культура и средства массовой коммуникации

86

27

Образование и молодежь

9

5

Прочие

25

5

Всего

254

107

* Приведенные данные нельзя считать точно отражающими положение дел в социологических исследованиях в нашей стране. Дело в том, что документы отбирались из архива методик, собранного в ИСИ АН СССР, который недостаточно полон. Выборка 254 документов была организована пропорционально числу документов в каждой отрасли с последующим случайным отбором. Поэтому систематическая ошибка может сохраниться.

Из табл. 2 видно, что наибольшее число таких процедур используется при изучении социологических проблем промышленного производства. Это вполне естественно, если учесть, что промышленная социология в нашей стране довольно сильно развита и имеет свои традиции в отношении применения измерительных процедур. Аналогичная ситуация наблюдается при изучении социологических проблем средств массовой коммуникации.

Рассмотрим процедуры сбора данных в процессе шкалирования более подробно.

9См.: Здравомыслов А.Г. Методология и процедура социологических исследований. М., 1969; Рабочая книга социолога. М., 1976.

10См.: Клигер С.А. Некоторые ошибки при опросах: постановка вопросов в анкетах и опыт использования шкал.

42

Сравнение предъявляемых объектов обычно производится либо их ранжированием,

либо процедурой парных сравнений. При ранжировании опрашиваемому дается задание выстроить предложенные для оценки объекты в иерархию (ряд), где на первом месте стоит объект с максимально выраженным качеством (свойством), или наиболее значимый для данного респондента объект; на втором месте — объект с несколько менее выраженным качеством и т.д., а на последнем — объект с минимально выраженным качеством или минимально значимый. Рассмотрим несколько примеров ранжирования.

Пример 1. В одной из анкет, составленной для изучения интересов и жизненных планов молодежи завода (1969 г.), ранжирование осуществлялось с помощью следующего вопроса:

Расположите приведенные ниже характеристики работы в порядке их важности для Вас, расставив цифры от 1 до 6 в колонке справа:

Условия труда Творческий характер работы

Отношения с администрацией Моральное удовлетворение, получаемое от работы Отношения с товарищами Размер заработка

Пример 2. В исследовании «Социальные аспекты трудовой и государственной дисциплины в производственном коллективе», проводимом в ИСИ АН СССР под руководством А. С. Гречина, вопрос в анкете ставился в такой форме:

«Ниже приводится перечень нарушений, еще встречающихся в производственной деятельности отдельных коллективов.

Внимательно ознакомьтесь с ними и, выбрав из них то, которое, по Вашему мнению,

является наиболее опасным и вредным, поставьте против него справа цифру 1. Из оставшихся девяти нарушений опять отберите то, которое является самым опасным и вредным и поставьте против него цифру 2.

Подобную процедуру отбора делайте до тех пор, пока в перечне нарушений останется последнее нарушение, против которого Вы поставите цифру 10».

Процедура парных сравнений (сравнение внутри пар) состоит в том, что респондентам предлагается сравнить попарно между собой п различных объектов (суждений) по степени выраженности каких-либо их качеств (свойств) или по степени значимости для данного

43

человека. Обычно принимают п 15 и составляют все возможные пары из я. Их число равно

п (п — 1)/2. Каждая пара объектов предлагается респондентам. Требования при этом такие: 1) не разрешается отказ от выбора, т.е. для каждой пары должно быть либо а > b, либо

b > а;

2)объекты предъявляются в случайном порядке внутри пары;

3)порядок предъявления пар должен быть случайным.

Пример 3. При изучении эффективности телепередач, проведенном в 1970 г.

Комитетом по телевидению и радиовещанию при Совете Министров СССР для реализации процедуры парных сравнений, использовался следующий вопрос: «Представьте, что по Вашему телевизору идут одновременно две передачи, а Вы можете посмотреть лишь одну.

Какую Вы выберете?

1.Спортивная передача или информационная программа «Время».

2.«Кабачок «13 стульев» или передача «7 дней».

3.«Клуб кинопутешествий» или «Сельский час».

4.Спортивная передача или «Огонек» и т.д.».

Считается, что процедура парных сравнений является более доступной для восприятия респондента, так как сравнение двух объектов произвести легче, чем ранжировать целый набор. Однако среди процедур шкалирования, выделенных в методических документах, процедура парных сравнений встречается крайне редко. Это можно объяснить тем, что она более трудоемка, чем ранжирование, т. к. число сравниваемых пар пропорционально n2.

Наиболее распространенным типом процедур сбора данных в процессе шкалирования в советской социологии является оценка предъявляемых объектов (отнесение к категориям).

Эта оценка может быть получена путем использования вопросов (заданий) самого разного вида:

1. Респонденту задается последовательность чисел или баллов, и он присваивает каждому объекту определенное число либо в соответствии со степенью выраженности качества (свойства), либо в зависимости от значимости этого объекта для респондента.

Пример 4. В анкете, посвященной улучшению организации социалистического соревнования на предприятии (Ленинград, 1973 г., Облсовпроф), использовался следующий вопрос:

Оцените, пожалуйста, по пятибалльной шкале основные стороны в организации соревнования на Вашем предприятии (1 будет означать наиболее низкую удовлетворенность, 5 — наиболее высокую).

5

4

3

2

1

Трудно сказать

44

Помощь администрации Помощь общественных организаций Материальное стимулирование

Продвижение по работе и т.д. (всего 8)

2. Кроме последовательности чисел (баллов) может быть задана последовательность вербальных суждений.

Пример 5. В анкете, составленной социологической группой ЛВПШ (1969 г.),

использовалась следующая процедура:

Не могли бы Вы указать, насколько интересны для Вас занятия тем или иным видом деятельности?

Шкала интереса

Вид деятельности

Очень

Интересно

Неинтересно

Совершенно

интересно

неинтересно

Подготовка документов Чтение и анализ документов Индивидуальные беседы Участие в совещаниях

Работа в первичных партийных организациях Телефонные разговоры Теоретическая подготовка

3. Для получения оценки может быть использовано и графическое представление. В

этом случае оценка производится путем помещения предъявляемых объектов в одну из граф.

Пример 6. При экспертном опросе предлагалось оценить возможное влияние каждого из 32 показателей прогностического фона на познавательную потребность молодежи с помощью определенного графического представления11.

Широкое распространение процедур, связанных с оценкой предъявляемых объектов,

можно объяснить тем, что они имеют ряд преимуществ по сравнению с ранжированием и парными сравнениями12.

Особым типом процедур сбора данных в процессе шкалирования является сравнение или оценка пар объектов по степени сходства между ними.

11 См.: Чередниченко В.В. Применение опроса экспертов для анализа и учета прогностического фона.— Социологические исследования, 1976, № 2.

45

Эти процедуры аналогичны процедурам сравнения и оценки объектов с той лишь разницей, что вместо объектов требуется сравнить или оценить сходство между парами объектов13.

Пример 7. Пусть исследователя интересует мнение респондентов о близости различных категорий трудящихся по их образу жизни. В этом случае респонденту может предъявляться набор пар категорий трудящихся. Вопрос в анкете может быть сформулирован таким образом: «Проранжируйте, пожалуйста, указанные пары категорий по степени близости их образов жизни, поставив на первое место пару с наиболее похожим образом жизни, а на последнее — с наименее похожим».

Процедуры такого типа практически не встречаются при опросах в нашей социологической практике. Это объясняется тем, что способы анализа полученной информации разработаны совсем недавно и малоизвестны. Однако эта информация является исходной для многомерного шкалирования, использование которого представляется весьма перспективным и будет описано в главе IV.

Типология данных. Целью каждой из рассмотренных выше процедур сбора данных в процессе шкалирования является получение информации, которая может быть подвергнута дальнейшему анализу. Однако если рассматривать полученную информацию как исходную для дальнейшего анализа, то оказывается, что существенным является не только способ получения этой информации, но и предположения о том, каким образом респондент производит сравнение или оценивание объектов.

Исходя из этого, назовем первичными данными информацию, полученную от отдельного респондента с учетом предположений о характере произведенного им сравнения или оценивания. Анализ методических документов показывает, что обычно при ранжировании предполагается наличие некоторого свойства (характеристики), по которому происходит это ранжирование, и из предъявляемых объектов тот является более значимым,

который в большей степени об-| ладает данным свойством. Геометрическая интерпретация этого предположения состоит в том, что каждый объект может быть представлен точкой на прямой, соответствующей данному свойству (векторная модель). Если респондент считает объект А наиболее значимым из трех объектов (А, В, С), а объект С — наименее значимым,

то соответствующие точки лежат на прямой, как показано на рис. 2.

Однако такое предположение не представляется естественным для примеров 1 и 2:

вряд ли можно считать, что респондент упорядочивает характеристики работы именно по

12 Guilford J. P. Psychometric methods.

46

степени выраженности какого-либо единого свойства. Здесь более уместным кажется предположение о том, что ранжирование производится в соответствии с тем, насколько далеки ранжируемые объекты от некоторого «идеального» для данного респондента14.

Геометрически это предположение можно интерпретировать следующим образом: если респондент считает один объект А наиболее значимым из трех объектов А, В, С), а объект С

— наименее значимым, то соответствующая объекту А точка лежит ближе всех к

«идеальной» точке I, а точка С наиболее удалена от I (рис. 3).

Хорошей иллюстрацией различия между двумя предположениями (моделями) может служить следующий простой пример. Пусть имеется п чашек кофе, которые отличаются друг от друга только лишь количеством сахара, т.е. «сладостью». Если экспертам предлагается проранжировать их по степени «сладости», то мы имеем

Рис. 2. Геометрическая интерпретация ранжирования объектов вдоль одной определенной

характеристики (векторная модель)

Рис. 3. Геометрическая интерпретация ранжирования объектов с помощью идеальной точки

чистый случай векторной модели (см. рис. 2). Если же эксперты располагают чашки с кофе по степени предпочтения (нравится — не нравится), то такое ранжирование можно интерпретировать с помощью «идеальной» точки, т.е. можно считать, что у каждого эксперта есть представление об «идеальной» чашке кофе. При оценке реальных чашек кофе эксперт на первое место ставит ту, которая по вкусу ближе всего к «идеальной», а на последнее — самую невкусную, с его точки зрения, чашку кофе, т.е. наиболее далекую от «идеальной»;

при этом совершенно очевидно, что в общем случае ранжирования по «сладости» и по вкусу совпадать не будут.

К сожалению, в социологических задачах почти всегда трудно установить, по какой из моделей проводится ранжирование. Так, например, если требуется проранжировать набор профессий по «привлекательности», то трудно заключить, является ли «привлекательность» единой объективной характеристикой типа «сладости», пли же «привлекательность» связана с наличием представления об «идеальной» профессии. Поэтому выбор предположения о характере поведения респондента является важным и существенным моментом при сборе данных в процессе шкалирования.

13 Говоря в терминах эмпирических систем с отношениями, элементами эмпирической системы в данном случае являются не объекты, а пары объектов, и соответствующие отношения задаются на этих ларах.

47

Таким образом, при ранжировании существуют два предположения, которые приводят к двум разным типам данных. Аналогичные предположения могут быть введены и для процедуры парных сравнений, и для процедур оценивания объектов. В результате мы имеем два основания для типологизации данных: вид процедуры и пред-

Таблица 3

Типы данных

Предположения

сравнение (оценка)

сравнение (оценка)

объектов

объектов

Процедура

производится по

производится по

степени

степени

выраженности

удаленности от

определенной

идеальной точки

характеристики

Сравнение бъектов

ранжирование

I

II

сравнение внутри пар

графические оценки

Оценка объектов

вербальные оценки

III

IV

числовые оценки

Сравнение или оценка пар объектов

V

положение о характере сравнения или оценивания. Полученные типы данных сведены в табл. 3.

Приведенная типология данных является менее общей, чем хорошо известная типология Кумбса15. Это объясняется тем, что мы ограничиваемся только теми процедурами сбора данных при шкалировании, которые используются при построении шкал оценок. Такое ограничение позволяет сделать типологию менее формализованной, а следовательно, более удобной для практического использования. Так как данная типология не противоречит типологии Кумбса, а может быть включена в нее, то для обозначения полученных типов данных (I — V) нами используется уже устоявшаяся терминология, введенная Кумбсом.

Типу I соответствуют данные «stimulus comparison» (сравнение объектов), типу II — «preferensial choice» (выбор по предпочтению), типам III и IV — «single stimulus» (отдельный объект) и типу V — «similarity» (сходство).

14Впервые модель «идеальной» точки была предложена Кумбсом (Coombs С.H. Psychological Scaling without a Unit of Measurement.— Psychol. Rew., 1950, N 57).

15Coombs С.Н. A Theory of Data. N. Y., 1964

48

3. Агрегированные данные и дополнительные предположения. Принципиальная схема процесса шкалирования

Агрегирование. Когда речь шла о типах данных (см. табл. 3), имелось в виду, что эти данные получены от одного респондента. Такие данные характеризуют отношения между элементами эмпирической системы (объектами), заданные одним респондентом (первичные данные). В случае процедуры парных сравнений первичные исходные данные могут быть представлены в виде матрицы, элемент которой aij равен 1, если i-й объект больше j-го, и 0 в

противоположном случае. Эта матрица задает отношение «больше» между элементами рассматриваемой эмпирической системы.

Поскольку социолога интересуют только эмпирические системы, отношения между элементами которых задаются группой респондентов, первичные данные должны быть подвергнуты определенным преобразованиям, которые назовем агрегированием.

Рассмотрим, например, как происходит агрегирование при использовании процедуры парных сравнений (данные типа I). В качестве матрицы агрегированных данных в рассматриваемом случае чаще всего выступает матрица относительных частот. Она получается посредством поэлементного сложения всех матриц, соответствующих отдельным респондентам, и деления полученных величин на общее количество респондентов. На пересечении i-й строки и j-го столбца стоит величина рij, выражающая долю тех респондентов, которые предпочли i-й объект j-му. При этом можно предположить, что величина Рij характеризует вероятность того, что i-й объект «больше» по заданному свойству для рассматриваемой группы респондентов, чем j-й. Естественно считать, что если Pij > 0,5,

TO i-й объект «больше», чем j-и. Эти рассуждения можно рассматривать как построение отношения «больше» в такой эмпирической системе, т.е. выявление тех пар объектов,

которые находятся друг с другом в этом отношении.

Агрегирование одних и тех же первичных данных может быть осуществлено различными способами в зависимости от того, какой метод шкалирования предполагается использовать в процессе анализа. Так, например, при ранжировании агрегированные данные могут быть представлены как в форме матрицы попарных сравнений, так и в форме матрицы относительных частот для рангов, т.е. в форме матрицы, элементом которой сjk является относительная частота того, что i-й объект поставлен на k-е место.

Для данных, полученных с помощью процедур оценивания (данные типов III и IV), в

некоторых случаях агрегирование выступает непосредственно как метод шкалирования.

Шкальные значения объектов для группы респондентов получают обычно как средние арифметические значения оценок отдельных респондентов. На этом процесс шкалирования в данном случае считается завершенным. При этом надо иметь в виду, что, используя в

49

качестве шкальных значений средние арифметические, необходимо учитывать как адекватность самой операции вычисления среднего арифметического, так и возможность интерпретации.

Агрегирование является непосредственно методом шкалирования, например в случае прямых количественных оценок. В опросном листе, составленном с целью изучения процесса деятельности научных коллективов (Институт истории естествознания и техники АН СССР, 1972 г., Москва) содержится такой вопрос:

Какую долю рабочего времени Вам приходится затрачивать на выполнение функций административного характера и снабженцев?

Административные функции Снабженческие функции

Почти все время Около ¾ времени Около ½ времени Около ¼ времени Около 0,1 времени

Не затрачиваю никакого времени

В этом случае шкальными значениями затрат времени на соответствующие функции для группы научных сотрудников (респондентов) будут средние арифметические затрат времени по этой группе.

Однако в ряде случаев, если первичные данные получены с помощью процедур оценивания (типы III, IV), агрегирование не может служить в качестве метода шкалирования.

Вообще говоря, решение о том, может ли агрегирование служить методом шкалирования,

зависит от предположений о способности респондента давать количественные оценки: если предполагается, что респонденты в состоянии давать такие оценки объектам, то вычисление различных средних по группе респондентов может иметь смысл. В противном случае, когда при оценивании (отнесении к категориям) устанавливаются лишь отношения порядка между объектами, агрегирование чаще всего представляет собой нахождение частоты, с которой тот или иной объект попадает в данную категорию. Такие агрегированные (вторичные) данные служат исходными для различных методов шкалирования (метод равнокажущихся интервалов, метод последовательных интервалов), которые будут рассмотрены в следующей главе.

Аналогичные рассуждения справедливы для агрегирования данных «сходства» (тип

V) с той лишь разницей, что в качестве объектов здесь выступают пары объектов.

50

Дополнительные предположения. В тех случаях, когда есть основания полагать, что в эмпирической системе существуют отношения более высокого уровня, чем те, которые можно получить от респондента в результате той или иной процедуры (а также, когда получение от респондента отношений более высокого уровня требует использования более сложных процедур), возникает необходимость в дополнительных предположениях о характере отношений в эмпирической системе.

Так, например, если исходные данные получены с помощью процедуры парных сравнений (тип I) и есть основания полагать, что в эмпирической системе имеют смысл расстояния между рассматриваемыми объектами, можно задаться целью построить отображение в такую числовую систему, в которой отношения разностей

Рис. 4. Принципиальная схема процесса шкалирования в социологии

I — выбор объектов измерения и респондентов; II — реализация процедуры сбора данных; III —

определение типа исходных данных; IV—агрегирование; V— агрегированные данные; VI — выявление объектов с заданными отношениями; VII — эмпирическая система с отношениями; VIII—формулировка дополнительных предположений; IX — выбор и реализация метода шкалирования; X — определение шкальных значений

между шкальными значениями объектов отображают соответствующие отношения между расстояниями в эмпирической системе. Однако исходные данные не задают интересующих нас отношений между расстояниями в этой эмпирической системе. Введение в метод парных

51

сравнений (см. главу III) предположения о нормальности распределения искомых шкальных значений по сути дела заменяет эти недостающие эмпирические отношения16.

Все те вопросы, которые были рассмотрены в этой главе,— принятие решения о том,

приписываются ли числа объектам или респондентам, реализация процедур сбора данных при шкалировании, типология данных, задача агрегирования и дополнительные предположения — есть последовательность задач, которые с необходимостью возникают перед исследователем в процессе шкалирования. Эта последовательность (или все эти этапы)

могут быть представлены в виде принципиальной схемы процесса шкалирования (рис. 4).

По поводу приведенной схемы процесса шкалирования отметим следующее:

этапы I — VII есть последовательность построения эмпирической системы с отношениями17;

все этапы шкалирования встречаются не только в процессе построения шкал оценок, но и для установочных шкал с той лишь разницей, что в последнем случае объектом измерения являются личностные характеристики людей;

в реальном процессе шкалирования могут реализоваться не все этапы (например,

как уже отмечалось, агрегирование может непосредственно приводить к получению шкальных значений и т.д.);

— построением эмпирической системы с отношениями (этап VII) завершается процесс шкалирования на этапе сбора данных. Этап анализа данных состоит в выборе и реализации методов шкалирования, которые будут подробно рассмотрены в последующих главах.

16В этом случае мы фактически имеем дело с таким фрагментом реальности, который не удается описать в терминах эмпирической системы с отношениями.

17Об этапах IX—X речь пойдет в главах III—IV.

52

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #

В показатель PROCESS нельзя добавлять факты, поскольку фактами являются оценки экспертов, созданных в этом показателе. В поле “Тип” отмечен зеленым треугольником.

Оценка вносится по шкале, роль которой играет график интерпретации, прикрепленный к ней (“Оценка” ⇒ “Параметры”).

По умолчанию используется шкала от -2 до +2, в которой каждой оценке соответствует определенное значение факта и описание.

Также к любой используемой шкале добавляется оценка “*”, которая означает отсутствие оценки — факты с такими значениями не будут участвовать в расчете результативности.

Значением факта в шкале выступает значение x — отношение факта к плану, а соответствующая ей результативность — значение f(x). Поэтому плановое значение экспертных оценок и показателей PROCESS всегда равно 100%, так как норма выполнения любого стандарта — 100%-ное соответствие эталону. При необходимости используемую шкалу можно заменить другой, например, с другим описанием или значениями выставляемых оценок.

Создать шкалу оценки можно при помощи графика интерпретации, для этого необходимо перейти в окно навигатора “Отчеты” и выбрать “Интерпретации”, после чего нажать кнопку “Создать”.

Далее нужно заполнить поля “Название”, “Функция”, указать нужную область значений и нажать “Сохранить”.

Затем затем нужно перейти в матрицу сотрудника и в параметрах оценки сменить график интерпретации.

Для того, чтобы изменить шкалу оценки, нужно в поле “Параметры” нажать “Изменить”:

Далее появится окно “Редактирование интерпретации”, нужно выбрать шкалу из списка:

Важно знать: стандартные шкалы не подлежат редактированию.

При необходимости можно создать новую шкалу оценки непосредственно из формы редактирования интерпретации, для этого нужно отметить галочку чекбокс “Новая”, указать название шкалы в поле “Название”, название функции шкалы в поле “Функция” и нажать “Сохранить”.

Стандартная шкала имеет следующий вид:

Описание стандартной шкалы приведено в таблице.

В поле «Метка» вписываются значения, которые будут выпадать из списка при добавлении факта. При этом не обязательно указывать значение оценки (“+2”, “+1”), так же можно использовать описание значения оценки словами “Отлично”, “Хорошо”.

Важно знать!

Если редактировать значения существующей(созданной ранее) интерпретации, изменения вступят в силу для всех периодов и показателей в матрицах, которых она используется, но если требуется внести изменения только для одного ОУ (объекта управления), нужно создать новый график и прикрепить его к показателю.

  План:

1. Балльная оценка и шкала;
2. Виды бальных шкал;
3. Составление шкал для измерения субъективных ощущений;
4. Разработка балловых шкал.

1. Балльная оценка и шкала

Балльная оценка – это метод оценки по нескольким
качественным показателям, при котором оценки, выражаются в баллах, суммируются.

Балльная шкала – это упорядоченная совокупность чисел и
качественных характеристик, которые приводятся в соответствие с оцениваемыми
объектами согласно определяемому признаку. Она служит для количественной
оценки, которая выражает качественный уровень признака; 

2. Виды бальных шкал

Виды балльных шкал

· номинальные –
цифры или символы служат в качестве условных обозначений для идентификации
объектов или их свойств;

· порядковые
– цифрами обозначают последовательность объектов или свойств по степени их
важности, при этом учитывают определенную связь их между собой;

· интервальные –
образованные от порядковых, обозначают размеры различий между объектами или
свойствами; в этих шкалах расстояния между обозначениями равные и
устанавливаются произвольно;

рациональные – так же,
как и интервальные, отражают соотношение размеров объекта при наличии нулевой
точки отсчета

3. Составление шкал для измерения субъективных ощущений

Составление шкал для
измерения субъективных ощущений – задача трудная. Для этого в первую очередь
должны быть решены следующие два вопроса: выбор объема (количество баллов)
шкалы и выявление взаимосвязи между интенсивностью отдельных признаков качества
и цифровыми значениями шкалы. При выборе объема балльной шкалы руководствуются
требуемой степенью точности, надежностью результатов и числом различимых
уровней качества.

4. Разработка балловых шкал

При разработке балловых шкал
градацию шкалы определяют в зависимости от поставленной задачи, качества экспертов,
необходимой точности результатов и возможности словесного описания
характеристики качественных уровней. Для экспертной оценки качества продукции
рекомендуется использовать шкалы с нечетным числом уровней качества, чаще
применяют балловые шкалы, имеющие 3, 5, 7, 9 градаций качества, которые могут
совпадать или не совпадать с количеством баллов. 

Вопросы для самоконтроля:

1.   Что такое бальная оценка?
2.  Назовите виды бальных шкал.

3.  Что такая бальная шкала?

Добавить комментарий