Как составить тесты по учебным дисциплинам

В этой статье речь пойдёт о разработке образовательных тестов — заданий по проверке предметных знаний и навыков. Но в целом описанные правила универсальны: тесты для оценки психологических качеств или софт-скиллов разрабатываются аналогично.

Вы узнаете:

• можно ли с помощью теста, где учащийся выбирает из вариантов ответов, проверить, как он умеет рассуждать;
• можно ли измерить тестом не просто знание фактов, а понимание учебного материала;
• чем трудные задания отличаются от сложных и почему трудным тест может быть, а вот сложным его лучше не делать;
• с каких заданий лучше начинать — простых или трудных;
• какое количество вариантов ответа оптимально;
• как проверить, работает ли тест.

---

Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. Мы подробно разберём инструмент, за которым в русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.

У стандартизированных тестов в образовании не лучшая репутация. Но психометрики по-прежнему отстаивают такой способ измерения: тесты с выбором ответа масштабируемы, справедливы и объективны. Это значит, что по одному и тому же тесту можно проверить сколько угодно учащихся, причём все будут в равных условиях, а на результат не повлияет ничьё постороннее мнение.

Но в то же время любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить. Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам.

Для каких конструктов подходят тесты с выбором ответа? Это практически идеальный инструмент для оценки знания фактов и сугубо технических навыков. Например, для проверки знания о том, как отделить команды друг от друга при программировании на определённом языке.

А вот проверить, как учащийся умеет рассуждать, взаимодействовать с коллегами или находить практическое решение в сложной ситуации, тест с выбором ответов не поможет. Чем сложнее природа конструкта, тем более гибким должен быть инструмент измерения.

Такие тесты способны выявить не любые знания. В любой дисциплине есть простые факты, и по ним легко написать вопросы с несколькими вариантами ответа. Например, спросить, в каком году Колумб открыл Америку.

А есть элементы знания, для которых простого запоминания недостаточно. Например, если мы хотим спросить, какие события и явления стали предпосылками для открытия Америки, вопрос с выбором ответа из нескольких уже не так хорош.

Каждый преподаватель хочет, чтобы студенты не только помнили факты, но и понимали материал. Но, увы, понимание как таковое пока невозможно измерить. Может быть, нейронауки в отдалённом будущем дадут возможность следить за всем, что происходит внутри черепной коробки каждого ученика. Но сейчас психометрика работает с тем, что можно наблюдать, с поведенческими проявлениями. У понимания таких универсальных проявлений нет.

Потому в педагогических измерениях, когда нужно оценить более глубокие, не фактологические знания, измеряют не само по себе понимание, а умение интерпретировать или анализировать. И более практичны, чем тесты с выбором из нескольких вариантов, тут задания с открытым ответом или компьютерные симуляции и игры. В таких инструментах среда тестирования будет более гибкой, чем стандартизированные тесты.

Если ваша задача — проверить усвоение фактологических знаний или отдельных навыков, тест с выбором ответов вполне подойдёт. Чтобы составить и распространить такой тест, не нужны сложные цифровые сервисы. Для базовых задач вполне достаточно форм Google или «Яндекса».

В этом разделе статьи разберёмся с основными вопросами о том, как составить хороший тест. А если нужно узнать по этой теме больше, советую книгу: Haladyna T. M., Rodriguez M. C. Developing and validating test items (Routledge, 2013) — и другие работы её авторов. Правда, на русском языке она, к сожалению, не выходила.

К концу теста любой учащийся устаёт. Поэтому последние задания зачастую уже не дают никакой информации о знаниях тестируемого. Получается, делать тест слишком длинным нельзя.

Но и коротким он быть не может — у небольших тестов ниже надёжность. На какой-то вопрос учащийся даст неверный ответ по невнимательности, а где-то, наоборот, случайно угадает правильный вариант. Если тест будет достаточно объёмным, больше шансов, что такого рода ошибки уравновесят друг друга и итоговый результат будет достоверен.

Так как определить, какой длины должен быть тест? Нужно отталкиваться от времени на решение одного задания. Оно зависит от трудности и может составлять от нескольких десятков секунд до пяти минут. Также стоит учитывать возраст учащихся:

• Детям до подросткового возраста нельзя давать задание дольше, чем на 20 минут, — или нужно предусмотреть возможность перерыва в тесте.
• Для старших подростков и студентов, а также взрослых лучше исходить из продолжительности привычного занятия. Например, для старшеклассника нормально посвятить тесту урок в 45 минут (или два урока с переменой между ними). А для студентов уже можно написать тест и на 80 минут.
• В дополнительном образовании взрослых следует учитывать, что взрослый человек уже не считает себя обязанным участвовать ни в каких тестах. Ему нужна дополнительная мотивация. Например, можно пообещать индивидуальную обратную связь по результатам теста (и потом обязательно её предоставить!).

Золотое правило таково: чем больше часов на тему отведено в курсе, тем больше вопросов в финальном тесте. Потому что изначально, когда курс составлялся, большее число часов было запланировано на более важную тему.

Если темы не слишком дробные, хорошо бы поставить минимум три вопроса на каждую. Опять же, потому, что случайные ошибки уравновесят друг друга. Но обратную связь потом лучше давать не только по каждому отдельному заданию, но и по теме в целом.

Небольшое отступление: в психометрике задание может быть трудным, но не сложным. Трудность в этой науке понимают так же, как обычно в русском языке. Чтобы справиться с трудным заданием, нужно обладать высоким уровнем знаний по теме. Скорее всего, немногие ученики решат трудное задание.

А сложность — отдельное психометрическое понятие. Оно характеризует, сколько действий и когнитивных операций нужно выполнить в процессе решения. Возьмём математический пример. Задание разделить 0,219 на 0,365 трудное, но не сложное: оно состоит всего из одного действия.

И начинать тест следует с более лёгких заданий, то есть с нетрудных. В начале теста уровень стресса всегда выше, что искажает результаты. Если вопросы в тесте распределены по тематическим блокам, можно в каждом из них располагать задания от лёгких к трудным.

Кстати, вопрос о распределении по тематическим блокам сам по себе непростой. С одной стороны, правильнее, чтобы тестируемый концентрировался в каждый момент теста на одной теме. С другой стороны, иногда важно проверить, может ли он быстро переключаться с одной проблемы на другую.

Как именно поступить, решают в зависимости от дисциплины и задач теста. Но важно ставить всех тестируемых в одинаковые условия, чтобы результаты были сопоставимы.

В целом делить на блоки тест правильно: так тестируемый увидит, что тест не бесконечен. В ситуации компьютерного тестирования, когда нельзя пролистать задания и понять, сколько ещё осталось, это важно. И, конечно, нужно предупредить, если время на ответы ограничено.

Наиболее привычны сегодня тесты как в ЕГЭ — с четырьмя вариантами ответа. Иногда можно услышать, что это связано с объёмом рабочей памяти: якобы четыре варианта появились, потому что именно такое количество элементов средний человек способен одновременно удерживать в уме.

Психологи-когнитивисты такое обоснование считают ненаучным. Скорее всего, к четырём вариантам ответа практики пришли случайно, и ничего биологически или психологически заданного в этой цифре нет. Вариантов может быть и меньше — например, три.

А вот придумать больше неверных ответов обычно затруднительно.

Создание неправильных вариантов ответа — на самом деле сложное психометрическое мастерство. Не зря их называют дистракторами, то есть отвлекающими внимание от верного варианта.

Суть в том, что неправильные ответы должны быть похожи на правильный и привлекательны. Очевидно неправильных ответов нужно избегать, как и ответов из другой области. Например, если в вопросе стоит формулировка «В каком году?», все ответы должны быть датами примерно из одного диапазона.

Но неверные варианты не должны содержать в себе правильный ответ или какую-то его часть — иначе нужно в вопросе объяснить, что тестируемый должен выбрать самый правильный ответ.

Высший пилотаж — неправильные варианты на основе типичных ошибок студентов. Это позволяет давать более глубокую обратную связь: не просто показывать, где учащийся ошибся, а анализировать, почему он выбрал именно такой неправильный вариант.

Кроме надёжности, у любого теста есть ещё одно важное качество — валидность. По классическому определению, валидность — свойство теста измерять то, на что он направлен. Более современное определение гласит, что результаты валидного теста можно интерпретировать в той логике, в которой он создан.

И иногда на валидность может повлиять просто то, что тестируемый иначе (но не неправильно!) смотрит на ситуацию в задании.

Возьмём пример из теста на критическое мышление, разработанного в ВШЭ. Это тест‑симуляция онлайн-среды, в ней нужно общаться с ботом. Одна из задач — получить недостающую информацию для рецепта торта.

По идее, тестируемый должен задать боту конкретный вопрос, например: «Сколько яиц нужно добавить?» Но человек может начать с приветствия, и не потому, что не понял задание. Сказать «Привет, как дела?» перед тем, как уточнять рецепт, вообще‑то нормально. Но если об этом не подумать при составлении теста, такой ответ будет оцениваться как ошибочный.

Одно из частых опасений по поводу тестов и причин, почему в них предлагают добавлять больше вариантов ответа, — «угадайка». Кажется, что в задании с двумя вариантами ответа вероятность угадать составляет 50%. Но это верно только в случае, когда весь тест состоит из одного вопроса с двумя вариантами ответа.

Если добавить второй вопрос, в котором не будет подсказок к первому и наоборот, вероятности просто перемножатся. И шанс случайно угадать правильные ответы составит уже 25%. В случае с тестом из десяти заданий вероятность ответить на всё правильно случайно пренебрежимо мала.

Но такой расчёт справедлив только для тестов с хорошо написанными неправильными ответами.

На магистерской программе Института образования психометриков учат проверять работоспособность тестов все два учебных года. Попробуем коротко разобрать, что именно они изучают.

Проверить тест можно качественным или количественным методом. Качественный метод представляет собой интервью. Разработчик теста выдаёт задания представителю целевой группы, наблюдает за ним и расспрашивает. Так можно выяснить, всё ли понятно в заданиях, что именно тестируемый делает для решения, какие вопросы ставят его в тупик, а какие кажутся слишком простыми.

Цель качественной проверки — убедиться, что решение теста задействует именно те когнитивные процессы, которые требовалось вовлечь (скажем, тестируемый действительно решает математическую задачу, а не навскидку выбирает из вариантов наиболее подходящий), что варианты-дистракторы не содержат элементов правильного ответа, что все инструкции к тесту понятны и так далее.

Оценка работоспособности теста количественными методами — как раз психометрика в узком смысле слова. Проводится она через статистический анализ, для которого нужно порядка 100 наблюдений.

Понятно, что для каждого курса такую проверку не проведёшь, обычно достаточно интервью. Но количественная оценка обязательна, если по результатам теста принимается какое-либо решение — о зачислении на курс, о сертификации.

В результате разработчик теста получит все те же данные, что и при качественной оценке. К тому же количественная оценка покажет, какие вопросы и утверждения не измеряют то, что должны, а какие вообще избыточны — тест работает и без них.

Разработка тестов

по учебной дисциплине

Методические рекомендации

для преподавателей

                 Методические рекомендации содержат
основные требования к разработке тестов для  проведения внутреннего аудита
качества профессиональной подготовки обучающихся, образцы тестовых заданий,
перечень типичных ошибок, допускаемых преподавателями при составлении тестов. Предназначены
для преподавателей – составителей тестов. Методические рекомендации могут быть
полезны при разработке тестов для обучающихся учреждений начального, среднего и
высшего профессионального образования.

СОДЕРЖАНИЕ

Введение

• Педагогический
  тест как контрольно-измерительный материал
• Этапы
  и общие требования к разработке теста
• Виды
  тестовых заданий
• Типичные
  ошибки, допускаемые при составлении вопросов к тесту
• Внутренняя
  экспертиза теста
• Оформление
  тестового материала и подготовка его к компьютерному варианту тестирования

Словарь
терминов

Список
рекомендуемой литературы

ВВЕДЕНИЕ

В связи с
модернизацией современного высшего образования, с введением ФГОС третьего
поколения, возрастают требования к повышению качества педагогического контроля,
ведется поиск его лучших форм и методов, его экономичности, оптимизации. Оценка
качества образования также на сегодняшний день является наиболее приоритетной
проблемой в образовательной деятельности. Новый стандарт предполагает также 
переход на рейтинговую систему контроля и оценки знаний слушателей, в связи с
этим большое значение приобретает измерение результатов усвоения программного
материала.

Мониторинг
качества образовательной системы предполагает, прежде всего, регулярный сбор и
обработку информации об уровне профессиональных знаний, умений студентов. Одним
из основных инструментов оценки качества уровня обученности студентов является
тестирование вообще и компьютерное тестирование в частности, позволяющие дать
достаточно объективную нормативно-ориентированную оценку учебных достижений
обучающихся.

Каким содержанием наполнено понятие
«педагогический тест»? Какие классификации педагогических тестов существуют, и
какие критерии применяются для оценки качества педагогических тестов? В чем
преимущество тестовых форм контроля в процессе обучения? Что понимается под
термином «тестовое задание», и какие правила необходимо соблюдать при
составлении тестовых заданий? Как составить  тестирование обучающихся при
подготовке к   внутреннему тестированию в рамках внутривузовской проверки
качества профессиональной подготовки? Ответы на эти вопросы, а также конкретные
образцы тестовых заданий разного вида представлены в данном учебно-методическом
издании.

Педагогический
тест как контрольно-измерительный материал

Педагогический тест 
является наиболее распространенным  контрольно-измерительным материалом в современном
образовательном процессу в вузе. Педагогический тест — это совокупность
заданий, отобранных на основе научных приемов для педагогического измерения в
тех или иных целях.

Педагогический тест рассматривается как система, как
упорядоченное множество тестовых заданий. Задания — это те элементы,
«кирпичики» из которых составляется педагогический тест.

Почему именно тестирование
становится все более массовым явлением в процессе педагогического оценивания?

Опыт
использования тестов в качестве  инструмента для оценивания позволяет выделить
многие его преимущества, в частности, тест:

·       это
более качественный и  объективный способ оценивания, что достигается путем
стандартизации процедуры проведения (отсутствие субъективной оценки на всех
этапах тестирования) и стандартизации заданий;

·       более
емкий инструмент – показатели тестов ориентированы на измерение степени,
определение уровня  усвоения ключевых понятий, тем и разделов учебной
программы, умений, навыков, а не на констатацию наличия у обучающихся определенной
совокупности усвоенных знаний;

·       позволяют
включить в экзаменационную работу гораздо большее количество заданий;

·       это
более «мягкий»  инструмент, они ставят всех испытуемых в равные условия,
используя единую процедуру и единые критерии оценки, что приводит к снижению
нервного напряжения;

·       широкий
инструмент –  и с точки   зрения интервала оценивания;

·       более
эффективен с экономической точки зрения, так как при тестировании основные
затраты приходятся на составление качественного инструментария.

Было бы конечно
большой ошибкой считать, что педагогическое тестирование свободно от
недостатков. Применение педагогических тестов – эта та область знаний и умений,
которая поддается формализации. Но далеко не все учебные дисциплины или их
разделы формализуемы.

К недостаткам тестов следует отнести то, что тестовый
контроль лишает возможности слушателей самостоятельно формулировать ответы,
отсутствует возможность проявить свою индивидуальность, творчество.

Но
самый большой недостаток – это сложность разработки хороших тестовых заданий,
хотя на первый взгляд кажется, что с этим никаких трудностей быть не должно,
ведь тестовые задания разрабатываются преподавателями, хорошо знающими свой
предмет. На самом деле разработка педагогических тестов требует высокой
педагогической квалификации, научной компетенции и большого методического опыта
составления тестов преподавателем. В этой связи необходимо самое пристальное
внимание уделять повышению качества тестовых заданий.

    При проведении тестирования учитываются три
критерия качества теста: надежность, валидность и объективность.

Надежность теста – критерий отражающий точность диагностических
измерений, а также устойчивость результатов теста к действию посторонних
случайных факторов. Надежность педагогического теста позволяет при его
применении в разных группах обучающихся с близким уровнем подготовки получать
примерно одинаковые результаты. Результат педагогического тестирования обычно
подвержен влиянию большого количества неучитываемых факторов (например,
эмоционального состояния и утомления, уровня мотивированности тестируемых и
др.). Любое изменение ситуации тестирования усиливает влияние одних и ослабляет
воздействие других факторов на результат теста.

В самом широком смысле надежность педагогического
теста – это характеристика того, в какой степени выявленные у слушателей
различия в уровне знаний по тестовым результатам являются отражением
действительных различий в измеряемых свойствах и в какой мере они могут быть
приписаны случайным ошибкам.

В более узком смысле, связанном с непосредственными
методами определения характеристик надежности, под этой группой показателей
понимают степень согласованности результатов теста, получаемых при первичном и
повторном его применении, по отношению к тем же тестируемым в различные моменты
времени, с использованием разных (но сопоставимых по характеру) наборов
тестовых заданий или при других измененных условиях тестирования.

Важнейшим средством повышения надежности
педагогических тестов является стандартизация процедуры тестирования.
При строгой регламентации процедуры тестирования (обстановка и условия работы
слушателей, характер инструкции, временные ограничения, способы и особенности
контакта со слушателями, порядок предъявления тестовых задач и т.д.)
существенно уменьшается дисперсия ошибки и повышается надежность теста. При
прочих равных условиях надежность теста зависит от числа заданий (длины теста) 
– чем длиннее тест,  тем он надежнее.

Валидность теста – это критерий, который определяет, что тест
измеряет и насколько хорошо он это делает. В понятии валидности отражается идея
соответствия педагогического тестирования его цели. Интуитивно все понимают,
что одно и то же можно проверять по разному. Отсюда возникает вопрос поиска
наиболее подходящего (валидного) средства, полнее, чем другие, удовлетворяющего
требованиям качества проверки.

В педагогических тестах наиболее важным типом
валидности является валидность по содержанию. При проверке
содержательной валидности речь идет об определении степени соответствия
содержания тестовых заданий содержанию учебного предмета, успешность усвоения
которого тестируется, то есть решается вопрос о том, в какой степени задачи
данного диагностического контроля успеваемости репрезентативны для содержания
учебной программы.

Для обеспечения валидности педагогического теста
требу-ется систематическая проверка того, насколько задания теста охватывают
все главные аспекты учебной программы и в правильной пропорции. Тест легко
перенасытить теми аспектами учебной программы, по которым легче составить
объективные задания. Поэтому рассматриваемое содержание следует фиксировать
заранее, а не после того как тест уже составлен. Правильно построенные
педагогические тесты должны соответствовать не только предмету обучения, но и
его задачам. Содержание, следовательно, необходимо определять достаточно
широко, включая в него помимо знания фактического материала такие важнейшие
цели обучения, как применение изученных принципов и интерпретацию данных.
Валидность также обеспечивается распределением тестовых заданий различной трудности
пропорционально уровню трудности учебного материала.

Валидность по содержанию закладывается в тест уже при
отборе соответствующих заданий. Для педагогических тестов подготовке их заданий предшествует
полная систематизированная проверка соответствующих учебников и учебных
программ, а также консультации со специалистами по данному предмету. На основе собранной таким путем информации
составляется спецификация теста для тех, кто будет составлять задания. В
спецификации указываются тестируемые области содержания (темы), задачи
(процессы) обучения, а также относительное значение каждой темы и процесса. На
этой основе по каждой теме устанавливается число заданий различных типов.
(Более подробно вопрос составления спецификации будет рассмотрен ниже).

Надежным средством обеспечения валидности теста
является экспертная оценка тестовых материалов, которая проводится экспертами
из числа наиболее квалифицированных специалистов-предметников и специалистов в
области тестирования. Конкретные задания оцениваются экспертами по принципу их
близости к реальным требованиям. Эксперты выносят суждение о том, охватывает ли
тест репрезентативную выборку конкретных навыков и знаний исследуемой области
обучения.

Валидность по содержанию является адекватным средством
оценки педагогических тестов. Она позволяет установить, охватывает ли тест
репрезентативную выборку конкретных навыков и знаний и свободно ли выполнение
теста от влияния посторонних факторов.

Следующий важный критерий качества педагогического
тестирования – объективность, то есть независимость получения и
интерпретации диагностических данных от преподавателя. Объективность
педагогического тестирования является важным синтезирующим критерием,
включающим в себя идеи надежности, валидности, кроме того, ряд аспектов педагогического
и этического характера.

Педагогический аспект повышения объективности
педагогического тестирования проявляется в использовании стандартных тестовых
программ, технических средств контроля, в первую очередь использование
компьютерных технологий в организации проведения педагогического тестирования.

Этический аспект объективности охватывает широкую
область морального регулирования. Результаты педагогического теста могут
оказаться полностью или частично неадекватными поставленной цели, если допускается
списывание, подсказки со стороны слушателей, репетиторство (но не всякое, а
«натаскивание»), снисходительность или, наоборот, чрезмерная требовательность
преподавателей.

Таким образом, результаты педагогического теста
зависят от соблюдения всех вышеназванных требований, которые обеспечивают
получение адекватных и достоверных оценок знаний слушателей.

2.
Этапы составления и общие требования к разработке теста

    В данном разделе представлены
основные этапы составления теста.

В разработке педагогических тестов можно выделить три
этапа: планирование, написание заданий и анализ заданий (см. Рис.1).

Перед разработкой теста необходимо четко иметь
представление о требованиях к знаниями, навыкам и умениям обучающихся по данной
учебной дисциплине. Эти требования определены в соответствующих Государственных
образовательных стандартах, предметных квалификационных характеристиках и
типовых учебных программах. Первый шаг в планировании теста – это анализ данных
документов. Задания теста должны в полной мере выявить степень овладения
требуемыми знаниями, навыками и умениями.

Составитель теста, начинающий с написания задания,
скорее всего, создаст узконаправленный тест. Без предварительного плана
некоторые темы изучаемого предмета могут занять слишком много места, в то время
как другие останутся незатронутыми.

Рисунок 1 . Этапы разработки теста

Во избежание несбалансированности и диспропорции
охватываемых тестом тем составлению заданий должна предшествовать разработка
его спецификации.

Спецификация теста является обязательной операцией
эмпирического анализа теста и необходимым условием создания нового теста.
Спецификация заключается в том, что строится таблица, в которой указываются:

·        
номера заданий и их
принадлежность к субтестам;

·        
направленность заданий;

·        
сложность, трудоемкость,
вес заданий;

·        
какую из характеристик
каждое из заданий конкретно диагностирует.

При подготовке тестов подобную спецификацию следует
начать с описания целей изучения данного предмета, а также охватываемого этим
предметом содержания. Перечисляя цели, создатель теста должен спросить себя, к
каким изменениям в поведении ведет освоение изучаемого предмета: скажется ли
оно на привычных способах работы, на способе решения задач, на способностях,
интересах и других характеристиках, а также на приобретении и развитии
интеллектуальных навыков.

В табл.1 приведена спецификация теста по дисциплине «Зоогигиена
с основами проектирования животноводческих объектов», состоящего из 116 заданий.
В левой колонке перечислены 11 тем, или содержательных категорий, которые
должны быть охвачены тестом. В верхней части таблицы приведены также 4
тестируемые учебные цели или типа обучения. Вся таблица дает предоставление о
желательном числе заданий относительно содержания и целей обучения. Число
заданий соответствует важности и широте каждой темы и целям ее изучения. Если
конкретная цель или тип обучения данной темой не затрагиваются, то задание в
соответствующей клетке таблицы отсутствует. В вертикальных и горизонтальных
рядах таблицы представлены относительный вес каждой темы и цели обучения во
всем тесте. Часто эти веса устанавливаются заранее, что позволяет
проконтролировать охват заданием тем и целей обучения, не устанавливая сквозную
классификацию индивидуальных заданий.

Таблица 1

Пример спецификации теста по дисциплине

«Зоогигиена с основами проектирования
животноводческих объектов»

Изучаемое содержание	Учебные цели	Всего
Знание основных терминов	Понимание целей и принципов	Навыки по мониторингу и оценке	Расчет и управление параметрами
1.Предмет и задачи гигиены и зоогигиены, как раздела медицины и ветеринарной медицины	3	2	–	–	5
2.Факторы природно- территориального комплекса и их влияние на здоровье и продуктивность. Понятие микроклимата и его составляющие	5	4	3	–	12
3.Зоогигиенические требования к почве и санитарная охрана её от загрязнения	4	4	4	–	12
4.Зоогигиеническое значение воды. Гигиена водоснабжения и поения сельскохозяйственных животных	3	3	3	3	12
5.Гигиенические требования к кормам и кормлению с. х. животных	4	2	2	2	10
6.Требования к санитарно- техническому оборудованию животноводческих помещений для разных видов с.х.  животных	4	2	2	2	10
7.Гигиена содержания крупного рогатого скота	5	5	3	2	15
8.Гигиена содержания  свиней и птицы	3	3	2	2	10
9.Гигиена содержания овец	3	3	2	2	10
10.Гигиена содержания лошадей	3	3	2	2	10
11.Гигиена содержания кроликов и пушных зверей	3	3	2	2	10
ИТОГО	40	34	25	17	116

          Исходным моментом составления
тестовых заданий является выделение общей цели, преследуемой тестовым заданием.
Такие цели должны предусматривать требование от обучаемого:

а) простого воспроизведения знаний, анализа и
сравнения данных. Постановка таких вопросов в заданиях позволяет проверить
усвоение слушателями материала на уровне запоминания, тренирует память;

б) анализа признаков понятия. При этом выявляется
умение обучаемых находить общее и специфическое в изучаемом материале, отделять
существенные признаки от несущественных, родовые от видовых, способствует
развитию аналитического мышления;

в) умения распознавать схемы, рисунки;

г) понимания функций, выполняемых различными органами
(звеньями, приборами, устройствами и т.п.), и процессов взаимодействия между
этими органами. Вопросы такого типа позволяют проверить умение слушателя
вскрывать определенные причинно-следственные связи и отношения, оценивать роль
и значение данного органа для процессов, происходящих во всей системе;

д) приведения в логическую последовательность
элементов множества, расположенных в беспорядке, т.е. умения решать
определенного класса задачи, требующие обнаружить последовательность
расположения элементов в информационном ряде объектов, тактических приемов,
например, в следственном действии либо оперативно-розыскном мероприятии;

е) творческого подхода к рассматриваемым проблемам и
вопросам, умения применять полученные знания в условиях той или иной ситуации.

При создании
тестов для проверки остаточных знаний на основании ФГОС ВПО по соответствующей
дисциплине или для проверки итоговых знаний студента на основании программы
дисциплины прежде всего определяется область содержания теста и цели
тестирования. План теста для промежуточного контроля знаний должен охватывать
знания, умения и навыки по одной или нескольким дидактическим единицам, для
итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии
с программой дисциплины, для проверки остаточных знаний по всем дидактическим
единицам дисциплины в соответствии с ФГОСом по специальности.

Преподавателю следует ориентироваться на следующие
принципы отбора содержания тестовых заданий для тестов:

1. Содержание теста должно
соответствовать содержанию учебной дисциплины. Задания теста должны в
правильной пропорции охватывать все важные аспекты области содержания.

2. Необходимо включение в
тесты только наиболее важных, базовых знаний, выражающих сущность, содержание,
законы и закономерности рассматриваемых явлений. Все спорные точки зрения,
допустимые в научном споре, следует исключить из тестовых заданий.

3. Каждый учебный элемент
должен иметь некоторую усредненную меру трудности, которую необходимо учитывать
в процессе контроля знаний.

Эксперты,
определенные на кафедре, оценивают соответствие заданий области содержания и
целям тестирования. Проводится внутреннее пробное тестирование преподавателями
кафедры. Осуществляется предварительная корректировка теста. Определяется время
тестирования студентов. Рекомендуемая продолжительность ответа на тестовое
задание составляет 1,5 минуты.

На основании анализа
статистических параметров по каждому заданию и тесту в целом производится
повторная корректировка теста – удаляются неудачные задания, если необходимо –
составляются новые.

        Производится выбор
стандартов оценивания экспертными и эмпирическими методами. Выполняется оценка
надежности теста и содержательной валидности (соответствия заданий содержанию
дидактических единиц). Составляется окончательный вариант теста и его
параллельных форм. Тиражируется сам тест и связанный с ним материал (если
используется бумажный вариант тестирования). При подготовке теста к 
компьютерному тестированию  готовится бумажный и электронный вариант теста и
заносится в тестовую оболочку программистом компьютерного класса.

Виды
тестовых заданий

Существует ряд требований к тесту организационного
характера:

• тестирование осуществляется главным образом через
  программированный контроль, никому не дается преимуществ, все отвечают на
  одни и те же вопросы в одних и тех же условиях;
• оценка  результатов производится по ранее
  разработанной шкале;

·                    
применяются необходимые меры, предотвращающие искажение результатов
(списывание, подсказку и утечку информации о содержании тестов)

При разработке теста целесообразно
использовать различные виды тестовых заданий. В частности:

·        
Задания с выбором одного правильного ответа (ВО)

·        
Задания с выбором нескольких правильных ответов (МВ)

·        
Задания на установление правильной последовательности (УП)

·        
Задания на установление соответствия (УС)

·        
Задания с кратким ответом (КО)

Общие требования к
тестовым заданиям разного типа

·        
Текст задания должен исключать всякую двусмысленность и неясность
формулировок.

·        
Текст задания формулируется предельно кратко, т.е.
освобождается от всякого постороннего для данной
проблемы материала. Текст задания должен иметь предельно простую синтаксическую
конструкцию.

·        
В задании не используются слова, вызывающие различное
понимание у испытуемых, а также слова, являющиеся
подсказкой, например, «иногда», «часто», «всегда», «все», «никогда».

·        
В заданиях, носящих составной характер, необходимо обеспечить
такую последовательность, чтобы правильность выполнения одного
задания не зависела от правильности выполнения другого задания данной группы.

·        
В тексте задания исключается двойное отрицание.

·        
Задания должны быть направлены на проверку значимых элементов
содержания, а не тех, которые проще формулируются или просты в обработке.

·        
Используемая в заданиях терминология не должна выходить за
рамки учебной литературы, используемой в вузе

Требования
к дистракторам :

·       
По возможности, не следует делать ответы длинными;

·       
Одно и то же слово (или словосочетание, или однокоренное
слово) не должно находиться в тексте задания и правильном ответе;

·       
Все ответы должны быть подобными (аналогичными, похожими),
это касается и их внешнего вида, и грамматической структуры.

·       
В вариантах ответа на задания желательна краткость;

·       
Ответы на основу задания должны быть сформулированы
достаточно просто, чтобы были понятны существенные различия между ними;

·       
Каждый дистрактор должен быть правдоподобным, внушающим
доверие, вполне убедительным и привлекательным для  экзаменующихся;

·       
Правильный ответ должен быть ясен, краток, правилен и
свободен от подсказок (как внутри текста задания, так и вне его);

·       
Ответы должны быть одинаковы по длине (хотя бы
приблизительно), не следует формулировать правильный ответ заметно длиннее или
короче, чем дистракторы;

·       
В дистракторах не следует использовать слова или технические
термины, которые экзаменующийся не может или не должен знать;

·       
При формулировке дистракторов не следует использовать
выражения: «ни один из перечисленных», «все перечисленные» и т.д., так как они
способствуют угадыванию правильного ответа;

·       
Из дистракторов, как правило, исключаются все повторяющиеся
слова путем ввода их в основной текст задания;

·       
Все ответы должны быть грамматически согласованными с
основной частью задания;

·       
Если ответ выражен в виде числа, то, как правило, эти числа
располагаются от меньшего к большему или наоборот.

Далее представлены  требования к содержанию тестовых заданий
разного типа.

Задания
с выбором одного верного ответа (ВО)

Общие
требования

– Формулировка основной части задания, должна быть
законченной

– В заданиях базового уровня в ответы целесообразно включать
не более двух-трех важных, ключевых слов, при этом правильный ответ не должен
отличатся какими-либо формальными признаками от неправильных ответов
(дистракторов).

– В заданиях базового уровня не должно требоваться выбрать
один НЕПРАВИЛЬНЫЙ ответ при наличии нескольких правильных.

– Из текста задания исключаются все словесные ассоциации,
способствующие выбору правильного ответа с помощью догадки.

– Если имеется задание с отрицаниями, то частицу НЕ или
слово, выражающее отрицание, необходимо выделить в тексте (жирным текстом с
подчеркиванием).

– Задания должны иметь одинаково правдоподобные дистракторы
(ответы), одинаково привлекательные для выбора.

– Исключаются ответы, вытекающие один из другого или
дополняющие друг друга.

Задания с выбором одного
верного ответа (ВО)

Примеры заданий:

Функция живого вещества, связанная с преобразованием
физико-химических параметров среды, называется …

A.     
средообразующей

B.     
транспортной

C.     
деструктивной

D.     
концентрационной

Различные типы заданий с
выбором ответа

Примеры заданий ВО
в повествовательной форме ( в виде суждений)

Аппаратом
сухой, инерционной очистки газов от пыли является…

1)
циклон

2)
скруббер

3)
волокнистый фильтр

4)
электрофильтр

Регулярное
наблюдение и контроль за состоянием окружающей среды;

определение
изменений, вызванных антропогенным воздействием,

называется
экологическим …

1)
мониторингом

2)
аудитом

3)
страхованием

4)
нормированием

Задания на отрицание

В архейскую эру НЕ существовало…

A.      беспозвоночных
животных

B.      цианей

C.      анаэробных
бактерий

D.      одноклеточных
водорослей

Примеры заданий с
рисунком

Об экологической чистоте 
товара и о безопасности его для человека и окружающей среды указывает знак
экологический маркировки…

На представленном рисунке
показана схема…

1)оборотного
водоснабжения ГЭС

2) очистки газовых выбросов ТЭС

3) работы АЭС

4)    очистных
сооружений ЦБК

Примеры заданий 
формы множественный выбор «два из пяти»
(МВ):

К цветковым растениям относятся…

A.      одуванчик
лекарственный

B.      рябина
обыкновенная

C.      ель
европейская

D.      сосна
обыкновенная

E.       плаун
булавовидный

Примеры
заданий  формы множественный выбор «три
из шести»(МВ):

В.И.
Вернадский выделял такие виды веществ в биосфере, как…

1)
живое

2)
косное

3)
биоксное

4)
твердое

5)
мертвое

6)
автотрофное

Пример задания
формы установление последовательности (УП):

Расположите биоценозы в
той последовательности,  в которой они сменяют друг друга в процессе сукцессии…

1)
пожарище

2)
кустарник

3)
смешанный лес

4)
ельник

Установите правильный порядок действий при выделении
хлоропластов методом центрифугирования…

1)
поставить центрифужные пробирки в центрифугу

2)
измельчить лист растения ножницами

3)
растереть растительную навеску в ступке при помощи пестика

4)
уравновесить центрифужные пробирки

5)
включить центрифугу на определенное время и определенное количество оборотов

Задания
на установление соответствия (УС)

Общие
требования

Задания
контролируют умение установить соответствие между объектами или процессами
и описанием их свойств и признаков. Задания на установление
однозначного или множественного соответствия начинаются
со слов: «Установите соответствие…».

Задание
формулируется так, чтобы содержание можно было выразить в виде двух
множеств с соответствующими названиями. Элементы первого
столбца обозначаются цифрами и располагаются слева, а элементы
второго обозначаются буквами русского алфавита и располагаются справа.  Для
каждого столбца вводится определенное название, обобщающее все элементы
столбца. Название столбца записывается заглавными буквами. Элементы
столбцов должны быть выбраны по одному основанию.Для заданий на однозначное
соответствие необходимо, чтобы второй столбец содержал
не менее одного дистрактора.

Для
всех учебных предметов используется одинаковый формат ответов, представленный
ниже.

 

Пример задания 
формы УС:

Установите соответствие
между группами растений по отношению к свету и признаками растений:

ПРИЗНАКИ	ЭКОЛОГИЧЕСКИЕ ГРУППЫ РАСТЕНИЙ
1)  Имеют темно-зеленый цвет;	А)  Светолюбивые
2)  Не выносят малейшего затенения;	Б)   Тенелюбивые.
3)  Процесс фотосинтеза преобладает над дыханием;
4)Не выносят сильной освещенности;
5)  Растут под пологом леса;
6)  Обитают на освещенных местах.

Задания
открытой формы

Общие
требования

В заданиях открытой формы
не используются готовые варианты ответов. В них испытуемому нужно дополнить
недостающее слово (группу слов, формулу, число, знак и др.), которое
свидетельствует о его знании. 

    Существует большое
разнообразие типов заданий в открытой форме.

    Задания открытой формы подразделяются на задания с
коротким ответом и задания с развернутым ответом или эссе.

    В практике массового педагогического тестирования в
основном применяются следующие модификации заданий открытой формы:

·    задания
с коротким ответом (КО);

·    задания
на завершение утверждения (ЗУ);

·    задания
на заполнение пробела (ЗП);

·    задания
на завершение (или на конструирование) графического объекта (диаграммы,
графика, схемы).

Примеры
заданий  формы КО:

1). Если ПДК нитратов для
человека составляет 3,05 мг/кг в сутки, то для человека массой 68 кг допустимо
поступление в организм этих веществ до ___ мг.

Ответ: 207

2). Если норматив платы
за выброс 1 тонны фенола в атмосферу в пределах установленных лимитов
составляет 3,415 тыс. руб., то при выбросе предприятием 22 тонн данного
загрязняющего вещества, выплаты составят ______ тыс. рублей.

Ответ: 75

Задания на завершение утверждения

Представленный ниже график иллюстрирует
закон _________________.

Изображенная на рисунке модель
иллюстрирует закон _______.

Типичные
ошибки, допускаемые при

составлении
вопросов к тесту

         При составлении тестовых
заданий разработчикам следует не только придерживаться определенных правил к
формулировке заданий, правильных ответов и дистракторов, но и избегать
основных, наиболее типичных неточностей и ошибок при их написании. Наиболее
часто встречаются следующие нарушения требований и определенных критериев при
написании тестовых заданий.

         Следует избегать составлять
задания, которые проверяют
больше чем одну идею, проблему, концепцию. При этом в правильном ответе и
дистракторах не должно содержаться разное количество элементов ответа:

                Важнейшими экологическими
последствиями глобального загрязнения атмосферы являются …

1) кислотные
осадки и парниковый эффект

2)
демографические параметры

3)
извержения вулканов

4)
естественные сукцессии

          В
правильном ответе и дистракторах  содержится разное количество элементов
ответа:

В ходе световой фазы фотосинтеза
происходит…

1) фотолиз воды и выделение свободного кислорода

2)
фиксация углекислого газа

3)
использование энергии АТФ

4)
синтез глюкозы

К
липидам относятся…

1) стероиды, терпены, воска и фосфолипиды

2)
только стероиды

3)
только терпены

4)
только фосфолипиды

Из
дистракторов, как правило, исключаются все повторяющиеся
слова путем ввода их в основной текст задания, например:

Неправильно	Правильно
Области концентрации живого вещества на границе двух сред обитания В.И. Вернадский назвал … 1) узлами жизни 2) очагами жизни 3) рубежами жизни 4) точками жизни	Области концентрации живого вещества на границе двух сред обитания В.И. Вернадский назвал _____________ жизни. 1) узлами 2) очагами 3) рубежами 4) точками

Часть
ответа лучше вынести в вопрос, например:

Неправильно	Правильно
Для изучения тонкой структуры клеточных органелл  наиболее эффективным оказался метод … 1) электронной просвечивающей микроскопии 2) электронной сканирующей микроскопии 3) флуоресцентной микроскопии 4) световой микроскопии	Для изучения тонкой структуры клеточных органелл наиболее эффективным оказался метод ________ микроскопии. 1) электронной просвечивающей 2) электронной сканирующей 3) флуоресцентной 4) световой

Все
ответы должны быть грамматически согласованными
с основной частью задания. Например, наблюдается несоответствие родов или
падежей:

Круговорот веществ, движущей силой
которого является деятельность живых организмов, называется …

1) биологическим

2) большой

3) геологический

4) антропогенным

Не
все иностранные фамилии можно склонять по падежам.

Неправильно	Правильно
Роль микроорганизмов в питании растений была выявлена в опытах, проведенных… 1) Прянишниковым Д.Н. 2) Сабининым Д.А. 3) Кнопом И. 4) Саксом Ю.	Роль микроорганизмов в питании растений была выявлена в опытах, которые провел… 1) Прянишников Д.Н. 2) Сабинин Д.А. 3) Кноп И. 4) Сакс Ю.

Все
ответы должны быть грамматически согласованными
с основной частью задания. Например, может наблюдаться несоответствие чисел
(единственное и множественное)‏:

Неправильно	Правильно
Пространство, на котором популяция или вид в целом встречается в течение всей своей жизнедеятельности, называется … 1) ареалом 2) площадью 3) зонами 4) территориями	Пространство, на котором популяция или вид в целом встречается в течение всей своей жизнедеятельности, называет(ют)ся… 1) ареалом 2) площадью 3) зонами 4) территориями

Не
допускается использование словосочетаний:  ни один из перечисленных выше; все
перечисленные; все, кроме…

Основные способы приспособления организмов
к условиям

окружающей
среды –это …

1)
активный путь, пассивный путь, избегание неблагоприятных воздействий

2) все перечисленные, кроме активного пути

3) только активный путь

4) ни один из перечисленных вариантов ответа не верен

Ответы
должны быть одинаковы по длине (хотя бы приблизительно),
не следует формулировать правильный ответ заметно длиннее или короче, чем
дистракторы. Следовательно, правильный ответ не должен отличаться внешне по
длине от дистракторов:

Для защиты атмосферы от загрязнения
проводят …

1) очистку выбросов предприятий от вредных примесей с помощью
газоулавливающих средств

2)
интродукцию растений

3)
рекультивацию земель

4)
мелиоративные мероприятия

Не
следует в качестве дистракторов приводить понятия, явно
не имеющие отношения к предмету тестирования:

Для физико-химической очистки сточных вод
используют …

1)
адсорбер

2) автобус

3) автомат

4) аттестацию

Не
следует разрабатывать тестовые задания на  несоответствие
современным научным достижениям или использовать устаревшую информацию:

В
настоящее время количество населения на планете составляет ________ человек.

1)
5 млрд.

2) 3 млрд.

3) 500 млн.

4)100 млн.

Не следует формулировать
задание в виде вопроса:

Неправильно	Правильно
Что содержится в файле с расширением obj? Исходный текст программы; Библиотечные функции; Исполняемая программа; Объектный код программы	Файл с расширением obj содержит: Исходный текст программы; Библиотечные функции; Исполняемую программу; Объектный код программы

Внутренняя
экспертиза  теста

Каждому эксперту выдаются следующие материалы:

• Спецификация и план теста
• Инструкция по экспертизе
• Формы для заключения об экспертизе и записи
  решений

В процессе экспертизы проводится следующая работа:

• Выполняется каждое задание теста (указывается
  правильный ответ, приводится решение задания, где необходимо)
• Анализируются формулировки задания (проверяется
  предметная корректность формулировок)
• Анализируется содержание заданий на их
  тематическую принадлежность и уровень сложности (базовый, повышенный или
  высокий)
• Формулируются замечания каждому из заданий, в
  конструктивной форме с предложениями, что и как необходимо изменить.
• Формулируется заключение о пригодности теста для
  использования

Спецификация теста включает:

• Цель создания теста, обоснование выбора подхода к
  его созданию,  описание возможных сфер его применения.
• Перечень нормативных документов (базисных
  программ, требований к уровню подготовки выпускников и др.), используемых
  при планировании содержания теста.
• Количество заданий различной формы с указанием
  числа ответов к закрытым заданиям, общее число заданий в тесте.
• Вес каждого задания, рекомендуемый автором теста.
• Рекомендуемое время выполнения теста, среднее
  время выполнения одного задания с учетом специфики формы.
• Охват требований государственных образовательных
  стандартов по дисциплине.

Требования к экспертной комиссии и
процедуре экспертизы качества теста

• Оценка качества содержания теста проводится
  независимыми экспертами, не участвовавшими в разработке теста. Число
  экспертов составляет не менее 3-х человек – наиболее опытные
  преподаватели, с большим стажем работы.
• В комплект материалов для экспертизы должен
  входить перечень требований к уровню подготовки испытуемых.
• Эксперту при работе потребуются часы для фиксации
  времени работы над каждым заданием и бланк для экспертного заключения.
• Если задание теста проверяет степень достижения
  требований на минимальном уровне – это базовое задание, на уровне
  «хорошей» оценки – задание повышенного уровня, «отличной» оценки – сложное
  задание.
• Эксперт должен оценить значимость содержания
  теста по следующей шкале – 0 – неоправданное включение задания в тест, 1 –
  незначимое задание, 2 – значимое, 3 – наиболее важный опорный элемент.

Оформление
тестового материала и подготовка его

к
компьютерному варианту тестирования

План теста

При разработке плана тестовых
заданий по дисциплине делается примерная раскладка процентного содержания
разделов и определяется необходимое число заданий (но не менее 3-х) по каждому
разделу дисциплины (по каждой дидактической единице) исходя из его важности и
числа часов, отведенных на его изучение в программе.

Требования к оформлению
тестовых материалов

N ДЕ	Наименование дидактической единицы ГОС	N за- да- ния	Тема задания
1	Общая теория права и государства	1	Понятие и признаки права. Система Российского права и ее структурные элементы
2	Источники и формы права. Норма права
3	Правоотношения. Правонарушение и юридическая ответственность
4	Российское право и основные правовые системы современности. Международное право. Понятие и признаки государства
2	Основы конституционного права Российской Федерации	5	Конституция Российской Федерации
6	Основы конституционного строя Российской Федерации
7	Правовой статус личности в Российской Федерации
8	Органы государственной власти в Российской Федерации
3	Основы гражданского права Российской Федерации	9	Граждане и юридические лица как субъекты гражданского права
10	Право собственности
11	Обязательства и договоры
12	Наследственное право Российской Федерации
4	Основы трудового права Российской Федерации	13	Основания возникновения трудовых прав работников. Трудовой договор
14	Рабочее время и время отдыха
15	Дисциплина труда
16	Защита трудовых прав граждан
5	Административное правонарушение и административная ответственность Российской Федерации. Основы уголовного права Российской Федерации	17	Административное правонарушение и административная ответственность
18	Преступление. Уголовный закон и уголовная ответственность
19	Категории и виды преступлений. Обстоятельства, исключающие преступность деяния
20	Система наказаний по уголовному праву

Бумажная копия теста должна
быть обязательно подписана автором (авторами) тестового материала с указанием
даты составления и передачи, листы скреплены и пронумерованы.

                Особенностью
современного  образовательного процесса в вузе является его компьютеризация,
что позволяет организовывать тестирование обучающихся на компьютерной основе.

                «Компьютерные» 
педагогические тесты имеют свои особенности, которые необходимо учитывать при
их разработке. Анализ информации на экране монитора компьютера часто бывает
затруднен из-за неправильной подачи материала. Хотя именно компьютеризованное
тестирование имеет свои преимущества и перспективы применения в образовании.
Особенная роль здесь принадлежит компьютерно-индивидуальному тестированию,
когда каждому испытуемому предъявляется уникальный набор заданий.

Возможности компьютерных
средств позволяют сочетать звуковые и зрительные формы предъявления тестовых
заданий. Компьютерные тесты должны быть адаптированы к реальному учебному
процессу. Одно из главных требований к компьютерным тестам – многовариантность.
Многовариантность должна быть двух типов: во-первых, по данным заданий,
во-вторых, по порядку их предъявления. Реализация этого требования снимает
сразу две организационные проблемы: списывание и запоминание ответов.

Достоинства компьютерного
тестирования:

– объективность тестирования
– персональный компьютер  «беспристрастен» при предъявлении тестовых заданий и
подсчете результатов их выполнения.

– удобство фиксации,
хранения и представления результатов тестирования, а также возможность их
автоматизированной обработки, включая ведение баз данных и статистический
анализ.

– удобство реализации
процедур индивидуально-ориентированного тестирования.

– возможность создания
таких тестовых заданий, которые не могут быть представлены без компьютера. При
этом могут быть использованы графические, динамические, интерактивные и другие
специфические возможности представления тестовых заданий на компьютере.

           Недостаток компьютерного
тестирования:

– необходимость минимальных
навыков работы на компьютере тестируемого.

В вузах существуют тестовые
оболочки, куда заносятся вопросы и варианты ответов тестовых заданий (например «iTest»,  «Му test» и др.). При подготовке компьютерного
тестирования следует учитывать следующую (рекомендуемую) схему взаимодействия
подразделений вуза (см. рис. 2).

Рисунок 2. Схема взаимодействия подразделений

в разработке и реализации
компьютерного теста

                Сектор качества
образования УМЦ обеспечивает централизованное и конфиденциальное хранение
тестовых заданий по учебным дисциплинам.

                При оценке выполнения
теста следует исходить из следующих рекомендаций:

• Оценка «удовлетворительно»
  ставится, если студент ответил на от 55 до 70% вопросов.
• Оценка «хорошо» ставится, если
  студент получил от 71 до 85%.
• Оценка «отлично» ставится,
  если студент получил 86% и более правильных ответов.

Список рекомендуемой литературы

1.       Аванесов, В.С.
Композиция тестовых заданий/ В.С. Аванесов. – М.: АДЕПТ, 1998. – 216 с.

2.       Воскресенская,
О.Л.
Оценка
качества подготовки студентов по дисциплине «Физиология растений» на основе
результатов Интернет-экзамена/ О.Л. Воскресенская, Г.П. Тикина /Материалы
Всероссийской конференции «Преподавание современной физиологии растений в
университетах и вузах страны: проблемы и решения». – М., 2008.

3.       Геворкян,
Е.Н., Комплексная
оценка высших учебных заведений/ Е.Н. Геворкян, В.Г. Наводнов, Г.Н.Мотова,
М.В.Петропавловский. – М.: Центр государственной аккредитации, 2003. – 176 с.

4.       Ефремова, Н.Ф.
Современные тестовые технологии в образовании/ Н.Ф. Ефремова. – Ростов-на-Дону:
Издательский центр ДГТУ, 2001. – 187 c.

5.       Киселева,
В.П. Методика
определения уровня подготовки студентов по результатам аттестационных
педагогических измерений/ В.П. Киселева, А.С. Масленников, В.Г. Наводнов. – Йошкар-Ола:
Центр государственной аккредитации,  2004. –  44 с.

6.       Клайн, П.
Справочное руководство по конструированию тестов/ П. Клайн. – Киев, 1994. – 238
с.

7.       Майоров,
А.Н.
Теория и практика создания тестов для системы образования. / А.Н.Майоров. – М:
Народное образование, 2000. – 351 с.

8.       Масленников,
А.С. Оценка
уровня обученности студентов в целях аттестации образовательного учреждения
профессионального образования: Учебное пособие/А.С. Масленников,  Б.А. Савельев. – М.:
Логос, 2003. – 136 с.

9.       Мельников, Ю.В.
Технология использования и разработки тестов и обучающих программ: Методическое
пособие / Ю.В.Мельников. – Домодедово: ВИПК МВД России, 1999. – 21 с.

10.   Михайлычев, Е.А.
Дидактическая тестология / Е.А. Михайлычев. – М.: Народное образование, 2001. –
432 с.

11.   Морев, И. А.
Образовательные информационные технологии. Часть 2. Педагогические измерения:
Учебное пособие/ И.А. Морев. – Владивосток: Изд-во Дальневост. ун-та, 2004. –
174 с.

12.   Переверзев, В.Ю.
Критериально-ориентированное педагогическое тестирование: Учеб. Пособие/ В.Ю.
Переверзев. – М.: Логос, 2003. –120 с.

13.   Родионов, Б.У. Стандарты
и тесты в образовании / Б.У. Родионов, А.О.Татур. – М.: Б.и., 1995. – 48 с.

14.   Челышкова, М.Б. Теория и
практика конструирования педагогических тестов: Учебное пособие/ М.Б.
Челышкова. – М.: Исследовательский центр проблем качества подготовки специалистов,
2001. – 410 с.

Приложение 1

Классификация тестов

1.
По процедуре создания:
· стандартизованные (в образовании, для целей итоговой аттестации);
· не стандартизованные.
2. По средствам предъявления:
· бланковые;
· предметные (манипулируем материальными объектами);
· аппаратурные (используются устройства для изучения особенностей внимания,
восприятия, памяти, мышления);
· практические (лабораторные работы, снабженные соответствующими инструкциями и
имеющие тестовое оснащение);
· компьютерные.

В
рамках компьютерного тестирования В.С. Аванесов предлагает адаптивные тесты –
задания, в которых предъявляются по одному, в зависимости от ответа испытуемого
на предыдущий вопрос.

3.
По направленности:
· тесты интеллекта;
· личностные тесты;
· тесты достижений.
4. По характеру действий:
· вербальные (с использованием умственных действий);
· невербальные (связанные с практическим манипулированием предметов).
5. По ведущей ориентации:
· тесты скорости (содержат простые задачи; время решения ограничено);
· тесты мощности или результативности (содержат трудные задачи, время решения
не ограничено, или мягко лимитировано);
· смешанные тесты (задачи различного уровня сложности, от самых простых до
самых сложных, время испытания ограничено, но достаточно для решения
большинства задач).
Эти тесты наиболее часто применяются на практике, к ним относятся большинство
тестов  учебных достижений.
6. По степени однородности задач:
· гомогенные (задачи, сходные по характеру, но различающиеся конкретным
содержанием);
· гетерогенные (задания отличаются и по характеру, и по содержанию).
7. По объективности оценивания:
· объективные (в процессе обработки результатов тестирования не
предусматривается использование субъективных толкований тестирующим);
· проективные тесты (допускается чрезвычайно большое разнообразие ответов и
проявление определенной субъективности при их толковании тестирующим.
8. По специализации:
· широкоориентированные (для тестов в системе образовании), позволяющие оценить
эффективность процесса обучения, степень освоения учащимися системы знаний,
умений и навыков в ходе учебного процесса;
· узкоориентированные, направленные на выявление достижений учащихся в процессе
освоения отдельных предметов, отдельных тем и т.д.
9. По целям использования (только для тестов в системе образования):
· предварительный определяющий тест (определяет знания в начале обучения,
затрагивает минимум знаний по теме обучения);
· тест прогресса, достигнутого в процессе обучения, формирующий тест
(затрагивает ограниченный сегмент обучения, раздел или главу, состоит из серии
отдельных тестовых вопросов, всесторонне охватывающих ограниченную область
обучения). Пример, обучающие тесты. Ученику даются конкретные инструкции для
исправления обнаруженных ошибок;
· диагностический тест (содержит большое число вопросов, имеющих отношение к
конкретной тестируемой области). Цель теста – определение трудностей обучения.
· суммирующий тест (используется для оценки широкого диапазона результатов
обучения, ожидаемого в конце учебного процесса, содержит вопросы,
представляющие более высокий уровень сложности, чем другие виды тестов).
10. По широте использования (только для тестов в системе образования):
· для использования преподавателем;
· для использования группой преподавателей или администрацией образовательного
учреждения;
· для целей отбора и формирования групп;
· для аттестации обучающихся.
11. По форме:
· тесты закрытого типа (задания с выбором верного ответа (или нескольких
верных) из набора предлагаемых;
· тесты открытого типа (ввод предполагаемого ответа на задание самим
тестируемым).

Приложение 2

Образец оформления титульного
листа  теста по дисциплине

МИНИСТЕРСТВО СЕЛЬСКОГО ХОЗЯЙСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ ФГОУ ВПО УРАЛЬСКАЯ ГОСУДАРСТВЕННАЯ АКАДЕМИЯ  ВЕТЕРИНАРНОЙ МЕДИЦИНЫ               ТЕСТОВЫЕ ЗАДАНИЯ Для  ________________________________________                                                                   цель проверки По дисциплине ________________________________________                                         наименование дисциплины по ФГОС Для специальностей_____________________________________________                                         наименование специальностей по ФГОС Составлены______________________________________ ФИО,ученая степень, ученое звание преподавателя Троицк – 2009

Образец оформления первого листа
тестовых заданий

Утверждено
на заседании кафедры                                                        
Согласовано:

______________________(протокол
№___)                                            Декан
____________________________ 

Зав.
кафедрой________________                                                                       подпись              
ФИО                                                                                   подпись              
ФИО                                                                             «_____»________________________20___г.                          
«_____»______________________20___г.          

ОБЩИЕ СВЕДЕНИЯ О ТЕСТОВЫХ ЗАДАНИЯХ

1 Направление (я), специальность(и), курс(ы)
_______________________________________

2 Название цикла  дисциплин учебного плана
______________________________________

3
Дисциплина (или дисциплины комплексного задания)
_____________________________                     

4 Цель
контроля   ______________________________________________________________

5 Общее
количество тестовых заданий ____________________________________________

6 Рекомендуемое
количество заданий в  тесте ______________________________________

7 Форма (ы)
заданий

–
открытая____________________________________________________________________

– закрытая
( с выбором одного или нескольких заключений)__________________________

– на
установление правильной последовательности__________________________________

– на
установление соответствия___________________________________________________

– на
конструирование и др.______________________________________________________

8 Время, на
которое рассчитан  тест_______________________________________________

9 Уровень
сложности:

–
легкие______________________________________________________________________

– средней
трудности____________________________________________________________

–
трудные_____________________________________________________________________

10 Критерии
оценки:

    оценка
3 (удовлетворительно)  25-49 баллов ______%  правильных ответов

    оценка
4 (хорошо)                         50-74 баллов ______%  правильных ответов

    оценка
5 (отлично)                       75-100 баллов ______%  правильных ответов

11
Кафедра(ы)- разработчик (и) контролирующих материалов ________________________

 Тестовые задания и ключи к ним прилагаются

Наверняка вы сами хоть раз в жизни составляли тесты и уж точно неоднократно проходили разнообразное тестирование – от серьезного до совсем шуточного из серии «Какой ты овощ во время карантина?».

Очень часто, за неимением нужных знаний и подготовки, разработчики придумывают тесты, опираясь исключительно на свой опыт, интуицию и здравый смысл (за исключением «овоща на карантине»). Многие, приступая к разработке собственных тестов, поначалу думают: что тут может быть сложного? Составить вопросы, придумать к ним ответы — вот и вся недолга! Это очень глубокое заблуждение. Создание хорошего задания в тестовой форме – настоящее искусство. 

Существуют разработанные учеными методики составления тестовых заданий. В этой статье я хочу рассказать об одной из таких методик, которую используют в системе общего и профессионального образования. В частности, ее нередко применяем и мы в учебном центре «Сетевая Академия ЛАНИТ» для разработки проверочных тестов и систем аттестации сотрудников.

Источник

Вместо предисловия

Почему я решила, что вам это может пригодиться? Во-первых, потому что многим из вас – людям, совсем далеким от педагогики, приходится проводить разнообразные обучающие мероприятия, разрабатывать учебные курсы и т.п., а все это требует проверки усвоения учебного материала. А какой еще способ, кроме тестирования, способен проверить знания быстро, надежно и объективно?

Во-вторых, потому что использование педагогических тестов актуально не только для образования, но и для областей, весьма далеких от него. Тесты – очень полезный инструмент для решения многих задач: и для аттестации сотрудников, и для первичной проверки соответствия знаний и навыков соискателей вакансии, и для оценки степени информированности аудитории о какой-либо проблеме, и много для чего еще. 

Сразу оговорюсь, что эта статья в первую очередь рассчитана на людей, не имеющих большого опыта в составлении тестовых заданий. Ее цель – предоставить новичкам достаточный объем материала, который помог бы им научиться составлять качественные педагогические тесты разных видов.

Да простят меня «продвинутые» в вопросах тестовой теории читатели, речь пойдет о базовых сведениях. Хотя, как показывает практика, вспомнить основы тоже никогда не вредно. 

Методику, о которой пойдет речь, разработали ведущие отечественные специалисты в области тестологии: В. С. Аванесов, М. Б. Челышкова, А.Н. Майоров и другие. 

В качестве примеров приводятся тестовые задания из открытого банка заданий ЕГЭ, размещенного на официальном сайте ФГБНУ «Федеральный институт педагогических измерений», из книги М. Б. Челышковой «Теория и практика конструирования педагогических тестов», из книги В. С. Аванесова «Композиция тестовых заданий», а также задания, составленные автором статьи и преподавателями разных образовательных организаций.

Сначала немного теории

Говоря о тестах в разных сферах деятельности, подразумевают разное. Например, в вычислительной технике тест – это задача с известным решением, с помощью которой проверяется правильность работы системы, а в медицине тестом будет называться метод исследования, заключающийся в пробном воздействии на организм. В общем понимании, тест – это объективное и стандартизированное измерение, которое легко поддается количественной оценке, статистической обработке и анализу. 

В рамках наших целей нас интересует педагогический тест со своей спецификой. Это система тестовых заданий различной трудности, созданная для качественного и эффективного измерения структуры и качества подготовленности испытуемых. Тестовое задание является одним из элементов педагогического теста, включает в себя инструкцию, тестовую задачу и эталон ответа.

Преподаватели используют тесты, чтобы:

1. оценить исходные знания учащихся перед началом обучения и скорректировать план и содержание занятия; 
2. сделать срез знаний во время курса, чтобы вовремя внести изменения в процесс обучения, если слушатели недостаточно хорошо усваивают учебный материал;
3. проверить финальный результат обучения.

Наиболее часто используются закрытые тесты, в которых ответы уже есть, как в игре «Кто хочет стать миллионером?». Но встречаются и открытые тестовые задания, требующие самостоятельно сконструировать или дополнить ответ.

Итак, выполняя закрытые тесты, обычно надо:

• выбрать один или несколько ответов среди заданных вариантов;
• установить соответствие между элементами двух множеств; 
• установить правильный порядок действий или процессов, перечисленных автором теста.

Открытые тесты требуют:

• дополнить имеющийся ответ;
• полностью сконструировать ответ самостоятельно.

Какой материал следует включить в тест

Содержание теста зависит от того, какие цели вы перед собой ставите и зачем вам вообще нужен этот тест. Прежде всего, нужно самому себе ответить на вопрос, можно ли с помощью составленных вами заданий проверить подготовленность аудитории. 

Вот такое тестовое задание предложил своим ученикам преподаватель анатомии по теме «Скелет грудной клетки». Одна из целей занятия – знать количество ребер у человека. 

Инструкция

: Выберите один правильный ответ.
Количество ребер 

1. у мужчин больше, чем у женщин
2. у женщин больше, чем у мужчин
3. индивидуально у каждого человека
4. зависит от жизненных обстоятельств

Как вы понимаете, при помощи этого задания невозможно проверить, знают испытуемые, сколько у человека ребер или нет. Поэтому, строго говоря, нет смысла включать такой тест в материалы контроля. Отдельный разговор о качестве подобранных автором вариантов ответа. Особенно интересно влияние жизненных обстоятельств на количество ребер. Но правила подбора неправильных ответов (дистракторов) к тестовым заданиям мы рассмотрим позже.

Основные правила подбора материала для теста следующие:

1. Материал, заложенный в тест, должен соответствовать содержанию темы тестирования и программы учебного курса.
2. В тест включается только то содержание темы, которое является признанным, объективно истинным и поддается рациональной аргументации. Спорные точки зрения в тестовые задания включать не рекомендуется. Суть тестовых заданий заключается как раз в том, что они требуют четкого, заранее известного преподавателям ответа, признанного ими в процессе разработки заданий объективно истинным.
3. Уровень детализации содержания теста зависит от целей тестирования. Если вы планируете использовать тесты для сравнения уровня подготовки тестируемых в какой-то области (например, для конкурсного отбора соискателей вакансии или кандидатов на обучение), то уровень детализации материала должен быть низким. В заданиях такого теста достаточно отобразить только наиболее значимые элементы содержания.
4. Если же тесты предназначены для выяснения, насколько успешно испытуемый освоил учебный материал (курс, раздел, тему) и освоил ли он его вообще, то уровень детализации области содержания должен быть довольно подробным. Это позволит сделать вывод о знаниях каждого испытуемого, при необходимости аттестовать его, а также проанализировать, какой материал лучше или хуже освоили испытуемые.
5. Вместе с тем в тест необходимо включать те элементы содержания, которые можно отнести к наиболее важным, без которых знания по заявленной теме становятся несущественными. Нет смысла перегружать тест второстепенными деталями, не имеющими большого значения. 
6. Если с помощью тестовых заданий планируется оценивать знания по всему учебному курсу, следует равномерно включить в итоговый тест задания по всем изучаемым темам курса, убедившись в том, что они охватывают все самые важные аспекты предметной области и в правильной пропорции.

   Например, если вы составляете тесты по курсу «Microsoft Excel» и включаете в него задания, посвященные исключительно созданию сводных таблиц и диаграмм, то при помощи этих тестов вы явно не сможете полноценно оценить уровень знаний по всему курсу в целом. 

7. Не всякое содержание можно выразить в форме тестового задания, то есть тесты – не универсальная форма для проверки знаний. 

Сколько времени нужно выделить для тестирования

Сидеть над тестом невозможно бесконечно долго: начало и завершение тестирования должны быть фиксированными. К сожалению, довольно часто временной интервал для этого процесса выбирается спонтанно. И если ошибиться – дать слишком мало времени или слишком много, эффективность теста снизится.

Тестирование в спешке приведет к тому, что как «слабые», так и «сильные» испытуемые не успеют выполнить все задания, и мы не поймем – тестируемый не выполнил задание, поскольку не знал ответа, или вообще не успел к нему обратиться.

Если времени вагон и маленькая тележка, «сильные» испытуемые, успевшие быстро пройти тестирование, начинают отвлекать других, подсказывать ответы, что нарушает процедуру тестирования (мы не соблюдаем правило равных условий для всех испытуемых). 

Если человек проходит тестирование в одиночестве или тестируется онлайн, при избытке времени он будет долго сидеть над заданиями, не решаясь выбрать ответ. Это вызовет утомление, снижение концентрации внимания, расслабление, что также снижает точность тестирования.

Всегда нужно иметь в виду, что испытуемые устают. А значит, тестирование не должно занимать слишком много времени, что напрямую связано с объемом самого теста. Практика показывает, что объем осознанно воспринимаемой информации начинает существенно снижаться примерно через 40-45 минут с начала тестирования (Ким В. С. Тестирование учебных достижений. – Уссурийск, 2007, стр. 29-35). 

Общее время тестирования определяется количеством и сложностью заданий. Некоторые преподаватели используют, например, такие методики расчета времени тестирования: 

1. Время, затраченное преподавателем на выполнение составленного им теста, умножить на 3.
2. Суммировать время, необходимое для выполнения каждого задания:

   • задание закрытой формы с выбором одного правильного ответа – примерно 10 секунд;
   • задание более сложных форм – в среднем от 30 секунд до 1 минуты.

Однако бывает, что теоретически рассчитать время тестирования невозможно, поэтому рекомендуется использовать эмпирические данные по результатам первичной апробации теста.

Составление тестовых заданий закрытой формы 

А теперь давайте рассмотрим конкретные примеры и поймем, как составлять свои тесты. В фокусе нашего внимания – тестовые задания закрытой формы.

В таких тестовых заданиях выделяют следующие элементы:

• инструкцию (содержит общие требования к выполнению задания – рис. 1);
• основную часть (задание, постановка проблемы – рис. 2);
• варианты ответа (верный ответ(ы) и ответы-обманки – рис. 3).

Рекомендуется, чтобы задания в тесте представляли собой не вопросы, а утверждения, которые в зависимости от ответов могут превращаться в истинные или ложные высказывания. 

Среди готовых ответов правильным чаще всего бывает только один, хотя не исключаются и варианты с выбором нескольких правильных ответов.

Неправильные, но похожие на правильные (и поэтому правдоподобные) ответы называются дистракторами (от англ. distract – отвлекать). Они используются для отвлечения внимания от правильного ответа тех, кто либо совсем не знает правильный ответ, либо пытается угадать его во время тестирования. Сделать неправильные ответы правдоподобными – одна из самых сложных задач разработчика теста.

Отдельно от тестовых заданий в программу тестирования вводится эталон выполнения заданий и разрабатываются критерии оценки.

Если вы проводите тестирование по старинке, в письменном виде, то вам потребуется ответник, трафарет для проверки ответника и эталон выполнения тестового задания. 

Как оформить тестовые задания

Тестовое задание должно быть оформлено таким образом, чтобы облегчить тестируемому работу над ним. 

Существует несколько вариантов дизайна тестовых заданий закрытой формы, но все сходятся в одном: все элементы тестового задания тем или иным образом должны быть графически выделены.

Как написать инструкцию к тестам 

Инструкция – это общие требования к выполнению тестового задания. Она должна устранить все вопросы испытуемых об оформлении своих ответов. Кроме того, в тексте инструкции оговаривают специфику задания, например, указывают количество правильных ответов в тесте (один/несколько).

При написании инструкции используют стандартные формулировки. Формулировка инструкции зависит от формы тестового задания, количества правильных ответов и пр.

Для тестовых заданий с выбором одного правильного ответа в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.

• Выберите один правильный ответ.
• Внимательно прочитайте текст задания и выберите верный ответ из списка.
• Выпишите номер тестового задания и индекс правильного ответа. 
• Обведите кружком букву (номер) правильного ответа.
• Для ответа нажмите клавишу с буквой (номером) правильного ответа.

Иногда, по замыслу автора, при разработке задания закладываются несколько правильных ответов, среди которых есть более и менее предпочтительные. В этом случае задание может сопровождаться следующей инструкцией: «Выберите наиболее правильный ответ».

Для тестовых заданий с выбором нескольких правильных ответов в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.

• Выберите несколько правильных ответов.
• Выберите все правильные ответы.
• Отвечая на задание теста, нажимайте на клавиши с буквами (номерами) всех правильных ответов.

Для тестовых заданий на выбор неправильного ответа инструкция может быть такой: «Выберите неправильный ответ».

Для группы однотипных заданий допускается делать одну инструкцию, которая помещается в начале теста или данной группы заданий в тесте.

Как правильно сформулировать основную часть задания 

Эффективность и технологичность теста во многом зависят от того, насколько грамотно сформулированы задания. Если тестируемый не поймет смысл вопроса, ему придется отвечать наугад. А это уже минус к объективности конечного результата. Потому важно тщательно проработать каждое задание. Вот несколько рекомендаций.

1. Рекомендуется, чтобы задания в тесте были формулированы в форме утверждений, которые после ответов испытуемых естественным образом превратятся в истинные или ложные высказывания (рис. 1).

Если продолжить утверждение из основной части этого задания правильным ответом (в данном случае это вариант Б), получится истинное высказывание: Признаком протекания химической реакции между оксидом меди и водородом является изменение цвета. При «подстановке» неправильного ответа высказывание получится ложным. 

По мнению многих отечественных тестологов (В.С. Аванесова, М.Б. Челышковой, В.С. Кима и др.), смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, потому что в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации. Вопросы и ответы на них иногда бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты времени и сил, в то время как технологичная методика тестирования предполагает четкую и быструю дифференцируемость ответов.

Действительно, если трансформировать задание, составленное в форме вопроса, в логическое утверждение, мы увидим, что задание уж точно не стало хуже, а даже выиграло – стало более кратким, понятным, лаконичным. После выбора ответа такое утверждение превратится в законченное высказывание, истинность или ложность которого легко поддается пониманию и оценке. 

Пример 1. Задание в вопросительной форме:

Инструкция

: Выберите один правильный ответ.
С каким из названных событий связано окончание периода разрядки международной напряженности в 1970-е гг.?

1. начало Корейской войны
2. разрыв отношений с Югославией
3. конфликт с Китаем
4. ввод советских войск в Афганистан

То же задание в виде логического утверждения:

Окончание периода разрядки международной напряженности в 1970-е гг. связано c

1. началом Корейской войны
2. разрывом отношений с Югославией
3. конфликтом с Китаем
4. вводом советских войск в Афганистан

Пример 2. Задание в вопросительной форме:

Инструкция

: Выберите несколько правильных ответов.
Какие из перечисленных примеров относят к ароморфозам?

1. возникновение теплокровности у позвоночных
2. развитие трехкамерного сердца у земноводных
3. формирование торпедообразного тела у акул
4. развитие зародыша внутри матки
5. появление рогов у копытных
6. формирование крыльев у летучих мышей

То же задание в виде логического утверждения:

К ароморфозам относят

1. возникновение теплокровности у позвоночных
2. развитие трехкамерного сердца у земноводных
3. формирование торпедообразного тела у акул
4. развитие зародыша внутри матки
5. появление рогов у копытных
6. формирование крыльев у летучих мышей

Подобной трансформации легко поддается большинство заданий, сформулированных в вопросительной форме. Иногда возникают ситуации, когда, казалось бы, задание формулируется только в виде вопроса. Однако после тщательного анализа цели задания и его содержания все же удается подобрать утвердительную форму задания.

Конечно, утверждение об использовании в заданиях исключительно утвердительной формы не категорично. К тому же иногда встречаются задания, в которых вопросительная форма выглядит удобнее и короче. 

Вопросительная форма заданий по-прежнему используется при составлении тестов и в России, и за рубежом, и имеет много сторонников. Выбор остается за вами. Главное – не забывать, что выбранная вами форма задания должна быть максимально понятна для испытуемых.

Лично я являюсь сторонником формулировки заданий в виде утверждений, считаю эту форму наиболее удачной, использую только ее и ничего с собой поделать не могу.   

2. Текст задания должен содержать достаточную, недвусмысленную и релевантную информацию для ответа. 

3. Формулировка задания должна быть грамотной, согласованной с формой вариантов ответа (простите за капитанство).

4. Формулировка задания должна быть предельно лаконичной, но не в ущерб пониманию сути задания. Необходимо исключить повторы слов и, тем более, целых фраз. Чем лаконичнее задание, тем лучше оно воспринимается. 

5. Рекомендуется, чтобы основная часть задания состояла из одного предложения (не более 7-8 слов), а во всем задании было не более одного придаточного предложения. Эта рекомендация подходит, конечно, не ко всем случаям. Например, тестовое задание может представлять собой кейс/ситуационную задачу, тогда одним предложением точно не обойтись.

6. Если задание сформулировано в вопросительной форме, предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце.

7. В основной части задания не должна присутствовать дополнительная информация, не существенная для поставленной проблемы.

8. Из текста задания нужно исключить все вербальные ассоциации, по которым можно догадаться о правильном ответе.

9. Стоит исключить из формулировки задания частицу «не». А если НЕ получается, ее надо выделить прописными буквами (как в этом предложении).

10. Исключаются задания, содержащие оценочные суждения тестируемого: «на ваш взгляд», «по вашему мнению», «что вы думаете…», «согласны ли вы с …», «как бы вы сформулировали…» и т.п. 

11. Рисунки, графики, схемы, используемые в задании, должны соответствовать тексту (рис. 2). И, конечно же, присутствие графических объектов в задании должно быть оправдано. Не стоит «добавлять картинку» просто для красоты. 

12. Элементы рисунка, графика, схемы рекомендуется обозначать по часовой стрелке (рис. 3).

13. В большинстве случаев варианты ответов замыкают задания (так было и в примерах выше), образуя завершенное истинное или ложное высказывание. Но иногда ответы приходится ставить в середине или за одно-два слова от конца содержательной основы задания теста. Тогда можно использовать такой вариант:

Инструкция

: Выберите один правильный ответ.
Невская битва произошла в … году.

1. 1198
2. 1240
3. 1242
4. 1245

14. Ответ на одно тестовое задание не должен служить ключом к правильным ответам на другие задания теста. Это нарушает условие локальной независимости заданий. В этом случае невозможно сделать корректный вывод о том,  знает ли испытуемый ответ на второе и последующие задания, или он не справился с ними потому что неправильно ответил на первый вопрос. 

Как подобрать дистракторы

К каждому тестовому заданию нужно подобрать правдоподобные неправильные варианты ответа (дистракторы). Это одна из самых сложных задач, стоящих перед составителем тестов. Перед вами основные рекомендации по подбору дистракторов: 

1. Все предложенные в задании дистракторы должны быть правдоподобными, теоретически вероятными.

Наиболее хороши дистракторы, подобранные на основе типичных ошибок, которые допускают тестируемые, или на основе распространенных заблуждений.

2. Все дистракторы к заданию должны быть одинаково привлекательными для тестируемых, не знающих правильного ответа.

Дистрактор, который никто не выбирает в качестве правильного ответа, обычно называют неработающим. Если в задании имеется хотя бы один неработающий дистрактор, удалите его, и вы сразу увидите реальное, а не формальное число ответов к заданию теста. 

Если все дистракторы в задании не работают, все испытуемые выполнят даже сложное задание верно, выбрав единственный правдоподобный ответ. Например, такое задание: 

Инструкция

: Выберите один правильный ответ.
Во вращении предплечья наружу участвует

1. двуглавая мышца плеча
2. двуглавая мышца бедра 
3. икроножная мышца
4. прямая мышца живота
5. собственно жевательная мышца

Даже не будучи знатоком данной предметной области, нетрудно догадаться, что мышцы, расположенные на нижней конечности, животе или черепе, не могут приводить в движение предплечье. Получается, что в тесте нет ни одного работающего дистрактора. Имеется всего один работающий вариант ответа, его и выберут испытуемые как единственно правильный. 

Вы спросите: «А что же здесь плохого»? Как мы писали выше, педагогические тесты создаются для объективной оценки структуры и качества знаний. А о какой объективной оценке можно говорить, если правильный ответ можно просто угадать, не имея совсем никакого представления о предмете? Конечно, если целью тестирования было узнать, отличает ли испытуемый живот или бедро от предплечья, то можно сказать, что все прошло успешно. Но все же перед тестами обычно ставятся более серьезные задачи.    

Если в предложенном задании мы заменим неработающие дистракторы на правдоподобные, теоретически вероятные (все перечисленные мышцы тем или иным образом двигают предплечье), справиться с ним так просто будет нельзя:

Во вращении предплечья наружу участвует

1. плечевая мышца
2. двуглавая мышца плеча
3. трехглавая мышца плеча
4. локтевая мышца
5. круглый пронатор

3. Дистракторы должны быть однородными, подобранными по общему (единому) основанию. 

Пример 1: Задание с однородными дистракторами

Инструкция

: Выберите один правильный ответ.
Телиоспоры возникают из

1. урединиоспор
2. эциоспор
3. базидиоспор
4. пикниоспор

Здесь все дистракторы подобраны по одному основанию, т.к. все они отвечают на вопрос «из чего?» и характеризуют то, из чего могут возникнуть телиоспоры.  

А в следующем задании дистракторы подобраны неудачно. 

Пример 2: Задание с неоднородными дистракторами

Инструкция

: Выберите несколько правильных ответов.
Телиоспоры возникают

1. из урединиоспор
2. из эциоспор
3. поздней осенью на том же мицелии, на котором летом формировались урединиоспоры
4. весной в результате слияния дикариона и последующего мейоза

В этом задании два первых ответа выбраны по одному основанию т.к. все они отвечают на вопрос «из чего?». Третий ответ подобран по другому основанию, поскольку соответствует вопросам «когда?» и «где?». 

Последний ответ не совпадает по основанию выбора ни с одним из предыдущих, он отвечает на вопросы «когда?» и «в результате чего?».

Самая частая причина появления в заданиях неоднородных дистракторов понятна – при невозможности подобрать нужное число дистракторов по одному основанию автор теста увеличивает их число, включая дополнительные, выбранные по другому основанию ответы. 

Иногда причиной является желание автора проверить с помощью одного задания как можно больше знаний испытуемых. Возможно, это оправдано спецификой предмета, однако некорректно с точки зрения требований тестовой технологии. 

Тестовое задание должно проверять один элемент знания. Если это не так, то становится неясным, с каким именно элементом знания тестируемый не справляется, в чем заключена причина невыполнения задания.

4. Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.

5. Все повторяющиеся в вариантах ответа слова (как в примере ниже) следует перенести в формулировку заданий.

Инструкция

: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы

1. газовых месторождений
2. нефтяных месторождений
3. месторождений каменного угля
4. месторождений калийной соли

Вот что получится после небольшой правки этого примера:

Инструкция

: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы месторождений

1. газовых
2. нефтяных
3. каменного угля
4. калийной соли

6. Рекомендуется использовать длинные задания и короткие ответы. В противоположном случае на прочтение и анализ ответов тратится слишком много времени.

7. Из числа неправильных исключаются ответы, вытекающие один из другого.

8. Ни один из дистракторов не должен быть частично правильным ответом, который при определенных условиях превратится в правильный ответ.

9. Ответы не должны отрицать смысл самого задания. «Почему? – спросите вы, – ведь так часто делают». Давайте разберемся на примере следующего задания:

Инструкция

: Выберите один правильный ответ.
PDF-файл можно преобразовать в документ Word, если на вкладке «Файл» выбрать команду

1. Открыть
2. Сохранить как 
3. Экспорт
4. PDF-файл нельзя преобразовать в документ Word

В этом примере четвертый ответ прямо противоречит основной части, утверждающей существование возможности преобразовать PDF-файл в документ Word. Налицо явная логическая ошибка. В задании же не спрашивается, можно ли преобразовать, а утверждается, что можно, а варианты ответов представляют собой перечисление способов преобразования.   

Если четвертый ответ – дистрактор, то в качестве правдоподобного ответа его вряд ли выберет хотя бы один тестируемый. Тогда этот ответ как неработающий дистрактор необходимо удалить из теста.

Если именно четвертый ответ является верным, все задание будет нерабочим, т.к. большинство тестируемых увидят логическую несообразность формулировок и пропустят задание, посчитав его ошибкой разработчика теста.

Если цель задания – выяснить, знает ли испытуемый, можно ли вообще преобразовать PDF-файл в документ Word или нет, лучше сформулировать вопрос по-другому, без нарушения логики: 

Преобразовать PDF-файл в документ Word

1. можно
2. нельзя

10. Не следует использовать в заданиях ответы типа «все вышеперечисленные», «ни один из вышеперечисленных» или, того хуже, – «все ответы неправильные» и «правильного ответа нет». Эта рекомендация, кстати, так же часто вызывает вопросы и несогласие аудитории, как и предыдущая. 

С точки зрения большинства тестологов, применение подобных ответов не оправдано по следующим причинам:

• повышение вероятности угадывания правильного ответа, так как чаще всего это будет неработающий дистрактор, добавленный составителем «для количества» при трудностях с подбором качественных дистракторов;
• нарушение логического закона исключенного третьего – если инструкция предписывает выбрать один верный ответ, то в задании он должен быть. Это придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых.

11. Не рекомендуется использовать слова «всегда», «никогда», «ни одного» и т.п., так как в отдельных случаях они способствуют угадыванию.

12. Частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова или номер места для правильного ответа выбирается в случайном порядке.

13. Дистракторы из одного задания не используются в качестве ответов к другим заданиям теста.

14. Все ответы к одному заданию должны быть примерно одной длины. Если это трудновыполнимо, возможен вариант, когда в задании половина длинных ответов, половина коротких. Это нужно для того, чтобы исключить вероятность угадывания правильного ответа по признаку его полноты или краткости. Многие разработчики тестов грешат тем, что в их заданиях правильные ответы почти всегда или длиннее, или короче неправильных. Эта тенденция очень быстро «считывается» испытуемыми и делает общий результат теста необъективным. Следующая рекомендация имеет такое же обоснование.

15. Правильный ответ не должен быть длиннее других.

16. Дистракторы располагаются в логической последовательности: числа – по возрастанию, буквы – по алфавиту. Это удобнее при поиске тестируемым правильного ответа.

17. Количество дистракторов к заданию подбирается таким образом, чтобы задание не было слишком громоздким, но и чтобы исключить большую вероятность угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или четыре дистрактора и один правильный ответ.

В отдельных случаях, например, в заданиях с выбором нескольких правильных ответов, количество дистракторов может достигать шести–семи.

18. Число дистракторов и правильных ответов в разных заданиях может быть разным. Оно не должно быть одинаковым во всех заданиях теста.

Источник

По какому принципу придумывают тестовые задания

Из десяти принципов разработки тестовых заданий закрытой формы, которые выделяет В. С. Аванесов, предлагаю рассмотреть основные. Для наглядности будем это делать на примерах.

1. Принцип противоречия применяется при создании заданий с двумя вариантами ответов. Здесь один ответ отрицает другой. Например:

Инструкция

: Выберите один правильный ответ.
Поощрения в трудовую книжку

1. записываются
2. не записываются

2. Принцип противоположности ответов близок по смыслу к принципу противоречия, но при противоречии используется отрицание, а при противоположности один ответ заменяется другим, антонимичным по смыслу. Например:

Инструкция

: Выберите один правильный ответ.
С увеличением заряда ядра активность щелочных металлов

1. возрастает
2. убывает

Возможность промежуточных состояний при использовании принципа противоречия позволяет увеличить число ответов, например, до трех. Например:

Инструкция

: Выберите один правильный ответ.
При движении тягового органа конвейера реле скорости

1. включено
2. выключено
3. заблокировано

3. Тесты, основанные на принципе однородности, содержат ответы, относящиеся к одному роду, виду, или отображают основные стороны, грани явления. Например:

Инструкция

: Выберите один правильный ответ.
Основателем андрагогики как науки является

1. Ноулз
2. Джарвис
3. Холтон
4. Ушинский

Инструкция

: выберите несколько правильных ответов.
Буква «о» пишется в словах

1. пл_вец
2. пок_рить вершину
3. распол_гать 
4. осн_щенный
5. ум_лять значение

4. Принцип кумуляции означает, что второй ответ вбирает в себя (аккумулирует) содержание первого, третий – содержание второго и т.д.

Пример:

Инструкция

: Выберите один правильный ответ.
Чтобы задать движение точки естественным способом, надо знать

1. траекторию
2. траекторию и закон движения
3. траекторию, закон движения, начало отсчета
4. траекторию, закон движения, начало отсчета, скорость

Тестируемые, привыкшие давать полные и правильные ответы, выбирают обычно последний ответ в таких заданиях, ошибочно полагая, что он всегда самый правильный. Поэтому при разработке заданий по принципу кумуляции полезно иметь большую часть правильных ответов не на последнем месте. 

5. Принцип сочетания. Используется сочетание слов (знаков) по два или по три, реже четыре, в каждом ответе.

Пример 1: сочетание более или менее однородных и правдоподобных пар ответов

Инструкция

: Выберите один правильный ответ.
Ф. Шопен писал

1. оперы и симфонии
2. балеты и оратории
3. мазурки и ноктюрны

Пример 2: сочетание одного слова (понятия) с несколькими другими

Инструкция

: Выберите один правильный ответ.
НЕ имеют ядра клетки крови

1. эритроциты и лейкоциты
2. эритроциты и тромбоциты
3. эритроциты и лимфоциты
4. эритроциты и базофилы

Пример 3: сочетание ответов по правилу цепочки, когда последнее слово в первом ответе становится первым во втором ответе, последнее во втором – первым в третьем и т.д.)

Инструкция

: Выберите один правильный ответ.
Служебными частями речи являются

1. предлоги, союзы, частицы
2. частицы, союзы, местоимения
3. местоимения, частицы, предлоги

6. При использовании принципа градуирования ответы располагаются по возрастанию (увеличению) или по убыванию (уменьшению). Этот принцип применим для заданий с тремя и большим числом ответов. Например:

Инструкция

: Выберите один правильный ответ.
Растворимость газов при повышении температуры

1. увеличивается
2. остается без изменений
3. уменьшается

Согласно ч. 3 ст. 5.63 КоАП РФ, нарушение должностным лицом порядка или сроков рассмотрения жалобы влечет наложение административного штрафа в размере … рублей.

1. от трех тысяч до пяти тысяч 
2. от пяти тысяч до десяти тысяч 
3. от десяти тысяч до пятнадцати тысяч 
4. от двадцати тысяч до тридцати тысяч 

7. Принцип формулирования заданий с ответами, правильными в различной мере, требует изменения инструкции, содержания задания и логики подбора ответов.

Инструкция, как мы уже говорили, обычно пишется так: Выберите наиболее правильный ответ.

Задача таких заданий – проверить сопоставительные знания, а ответы формулируются так, чтобы был реальный выбор между ответами, правильными в разной степени. Например:

Инструкция

: Выберите наиболее правильный ответ.
Зигота – это

1. одна яйцеклетка
2. оплодотворенная яйцеклетка
3. диплоидная клетка, образующаяся в результате оплодотворения
4. одноклеточная стадия развития многоклеточного организма млекопитающих

В этом задании наиболее правильным считается третий ответ (он наиболее емко и точно описывает все характеристики зиготы), следующий по степени правильности – второй ответ (он содержит совершенно правильное, но менее полное определение зиготы), затем четвертый (потому что зиготы образуются не только у млекопитающих). На последнем месте по степени правильности находится первый ответ – он самый неполный, ведь одной яйцеклетки для образования зиготы явно недостаточно.

Задания на выбор наиболее правильного ответа разрабатывать довольно сложно: наиболее правильный ответ далеко не всегда должен быть самым полным. В противном случае тестируемый при выполнении задания будет выбирать правильный ответ только по признаку полноты. 

Составили тест? Не поленитесь и пройдите по этому чек-листу.

Проверка качества тестовых заданий

• Соответствует ли задание целям тестирования?
• Все высказывания логичны?
• Все формулировки однозначны и лаконичны?
• Технологичен ли тест? (Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования)
• Правильно ли выбрана форма задания?
• Содержание корректно?
• Правила оценки ответов разработаны заранее и соответствуют форме теста?
• Правильно ли расположены элементы задания?
• Инструкции одинаковы для всех тестируемых?
• Инструкция соответствует форме и содержанию задания?

В этой статье мы обсудили основные аспекты составления тестовых заданий закрытой формы с одним или несколькими правильными ответами. Благодарю вас за внимание и терпение и надеюсь, что эта статья будет полезной для вас. 

Если вы считаете, что стоит продолжить цикл подобных статей и поговорить о методике составления тестовых заданий других видов, напишите, пожалуйста, об этом в комментариях. А если вам нужны готовые инструменты оценки качества обучения, обращайтесь к нам в «Сетевую Академию ЛАНИТ». Будем рады помочь.

Принципы разработки тестов

При
разработке теста каждый автор старается
подобрать свою систему заданий, вследствие
чего по одной и той же учебной дисциплине
может оказаться несколько различных
тестов, с неодинаковым охватом учебных
тем, с несовпадающим числом заданий, и
с разными баллами испытуемых. Возникает
естественный вопрос, – какой из тестов
лучше измеряет интересующие знания?
Ответ на этот вопрос дают эксперты.
Лучшим часто считается тест, у которого
содержание шире и оно охватывает более
глубокие уровни знаний. Такое содержание
определяется с опорой на ряд педагогических
принципов.

Первый
принцип
разработки содержания теста – соответствие
содержания теста целям тестирования –
уже был рассмотрен в предыдущей главе.
Остается добавить, что для оценки знаний
выпускников образовательных учреждений
на соответствие требованиям минимума
содержания учебных программ, в средства
оценки придется включать немало
сравнительно легких заданий. Но тогда
ни о каком тесте, в нормативном понимании
этого слова, говорить не придется.
Возникнет и ряд таких спорных вопросов,
как определение минимально “проходного”
балла.

Второй
принцип
– определение значимости проверяемых
знаний. Принцип значимости указывает
на необходимость включения в тест только
тех элементов учебной программы, которые
можно отнести к наиболее важным, без
которых знания становятся несущественными,
фрагментарными, состоящими из
второстепенных элементов. Поскольку
именно ключевые элементы формируют
основу подлинных знаний, в тест в первую
очередь включают, конечно, их. Отбор
значимых элементов проводится с опорой
на мнения педагогов-экспертов, имеющих
личный опыт преподавания и проверки
знаний по интересующей учебной дисциплине.

Третий
принцип
– взаимосвязь содержания и формы. При
разработке тестов может оказаться
уместной некоторая ассоциация с созданием
произведений искусства. Настоящее
искусство представляет собой, по словам
Гегеля, законченное внутри себя соединение
содержания с вполне соответствующей
ему формой. Настоящий тест так же можно
охарактеризовать как результат соединения
содержания заданий с наиболее подходящей
для них формой. Одновременно форма
является способом существования и
сохранения содержания задания. Вне
тестовых форм ни тест, ни его содержание
не существуют. Начинающие разработчики
тестов часто допускают ошибки
несоответствия формы задания его
содержанию. Главное средство предупреждения
таких ошибок – овладение классификацией
видов знаний, которая будет опубликована
в ближайших выпусках газеты. Не всякое
содержание поддается выражению в форме
тестового задания. Доказательства,
обширные вычисления, многословные
описания не поддаются представлению в
тестовой форме. Из этого вытекает важный
вывод – тестовую форму нельзя рассматривать
как универсальную, пригодную на все
случаи проверки знаний. Да и вряд ли в
педагогике есть вообще какая-либо одна
форма, которая могла бы выразить все
богатство изучаемых знаний. Вместе с
тем, тестирование является одной из
наиболее объективных и технологичных
форм проведения массового контроля
знаний. В этом смысле сравниться с
тестированием ни один из известных
методов проверки знаний не может.
Содержание контроля по каждой учебной
дисциплине рассматривается сквозь
призму подходящей формы. При этом анализ
содержания теста относится к учебной
дисциплине, в то время как поиск наилучших
форм является предметом науки о тестах,
т.е. тестологии.

Четвертый
принцип
– содержательная правильность тестовых
заданий. В тест включается только то
содержание учебной дисциплины, которое
является объективно истинным и поддаётся
аргументации. Хотя в педагогической
литературе последних лет справедливо
обосновывается правомерность выделения
двух сложившихся методов познания мира
– рационального, естественно научного
и интуитивно-образного, в содержание
тестового контроля знаний наметилась
традиция включать те элементы знаний,
которые поддаются преимущественно
рациональной, нежели интуитивно-образной
аргументации. Каждое задание теста
опирается, как правило, на факт, правило,
теорему, норму, закон или на апробированный
в практике метод. Спорные точки зрения,
вполне приемлемые в науке, не рекомендуется
включать в содержание тестовых заданий.
В отличие от вопросно-ответной формы
заданий, где даются ответы, правильные
в различной степени, тестовые задания
обычно требуют определенных ответов,
признаваемых в качестве точных и
бесспорных.

Пятый
принцип
– репрезентативность содержания учебной
дисциплины в содержании теста. При
разработке теста обращается внимание
на полноту и достаточность числа заданий
для аргументированного вывода о знаниях.
В самом деле, проверить знания учащихся
можно по пяти-шести заданиям. Но где
уверенность, что учащиеся знают остальные
элементы содержания учебной дисциплины?
Путь к появлению такой уверенности
лежит в наиболее полном отображении
необходимого знания в заданиях теста.
Репрезентативность не означает
обязательного включения в тест всех
значимых элементов содержания или
строго пропорционального включения в
тест заданий по различным темам. Ведь
многие из них явно связаны между собой
в общей структуре знаний, включены один
в другой, полностью или частично. Кроме
того, много элементов в структуре знаний
иерархически соподчинены, а потому из
соображений экономии, нет смысла включать
в тест задания из всех изучавшихся тем.
Стремление к повышению валидности
тестовых результатов путем расширения
числа тем учебной дисциплины и увеличения
числа заданий в тесте нельзя, в принципе,
признать правильным. Нет таких тестов,
содержание которых вбирало бы в себя
все содержание учебной дисциплины. При
создании теста обычно ставится задача
отобразить в нем то основное, что отражает
идею измерения уровня и структуры
подготовленности учащихся, как результат
образовательной деятельности. Можно
сказать так: содержание учебной дисциплины
всегда шире содержания тестовых заданий.
Некоторые из них заметно связаны между
собой, иногда перекрывают друг друга
по содержанию и потому могут замещаться,
что позволяет уменьшить общее число
заданий в тесте. Репрезентативность
заданий связана с числом заданий. В
общем случае, чем больше заданий, тем
репрезентативнее могут оказаться
результаты. Число заданий традиционного
теста обычно бывает не меньше тридцати.
Банк заданий адаптивного теста содержит
большее число заданий. Число заданий в
тесте зависит, во-первых, от содержания
проверяемого материала: чем больше
объем проверяемых знаний, тем большее
обычно требуется число заданий. Во-вторых,
от вида тестов; интегративные тесты
требует меньшего числа заданий, в силу
того, что для правильного решения каждого
задания надо обладать знаниями различных
учебных дисциплин. Следовательно, тест,
состоящий из интегративных заданий,
охватывает большее число проверяемых
учебных элементов. И, в-третьих, точность
педагогических измерений зависит от
числа заданий; в традиционном тесте
точность измерения растет по мере
увеличения числа заданий.

Шестой
принцип
– соответствие содержания теста уровню
современного состояния науки. Этот
принцип вытекает из естественной
необходимости проверять знания школьников
не на устаревшем, а на современном
учебном и контрольном материале.
Трудность реализации этого принципа
заключается в опосредованности связи
содержания теста с уровнем развития
науки.

Седьмой
принцип
– комплексность и сбалансированность
содержания теста. Тест, разработанный
для итогового контроля знаний, не может
состоять из материалов только одной
темы, даже если эта тема является самой
ключевой в учебной дисциплине. Необходимо
искать задания, комплексно отображающие
основные, если не все, темы учебного
курса. В то же время существует стремление
сбалансировано отобразить в тесте
основной теоретический материал –
понятия, законы и закономерности,
гипотезы, факты, вместе с методами
научной и практической деятельности,
с умениями эффективно решать типовые
задания. Особенно важен этот принцип
для разработки интегративных тестов.

Восьмой
принцип
– системность содержания. Это означает
формулирование такого содержания
тестовых заданий, которое отвечало бы
требованиям системности при проверке
знаний. Помимо подбора заданий с системным
содержанием важно иметь задания,
связанные между собой общей структурой
знаний. Это возможно в тех случаях, когда
каждое задание проверяет преимущественно
свою часть в общей системе знаний.
Идеальный вариант при разработке теста
– когда задания не пересекаются по
содержанию и по статистическим показателям
между собой, но все имеют положительные
корреляции с каким-либо внешним критерием
знаний испытуемых.

Девятый
принцип
– вариативность содержания. После первого
применения теста его содержание
становится известным испытуемым. И если
есть условия для передачи информации
о содержании заданий другим учащимся,
то это почти всегда делается. Испытанным
в практике способом защиты тестовых
результатов от возможных искажений
такого рода является создание множества
вариантов заданий одного и того же
теста. Соответственно тесты, состоящие
из вариантов заданий, называются
параллельными, если при этом выполняются
еще и некоторые статистические условия.
Например, они должны быть примерно равны
по трудности, иметь сходные показатели
вариации тестовых баллов испытуемых.
Кроме того, содержание теста не может
оставаться неизменным, независимым от
нового содержания учебной дисциплины
и от новых учебников.

Метки: components, joomla, компоненты, принцип, разработка
тестов

Еще
записи по теме

• Определение
  педагогического теста

• Содержание
  тестирования

• Создадим
  совместными усилиями Систему тестирования

• Плюсы
  и минусы использования

http://test.ex6.ru/page/principy-razrabotki-testov

Аттестационные
тесты – рекомендации по составлению

Аннотация

Вниманию
кадровых служб банков предлагается
опыт специалистов Агентства “ВЭП”
по составлению тестов. Вольное изложение
материала говорит лишь о том, что над
обозначенной проблемой еще предстоит
вся основная теоретическая работа,
результаты которой, безусловно, когда-то
и кем-то обязательно будут изложены
так, как это должно быть изложено, в
канонах лучших классических теорий.

Составление
тестов – дело несложное. Научиться этому
очень даже можно, и требуется здесь
только наличие двух условий. Условия
эти из области знаний, так как речь мы
поведем не о психологическом тестировании,
а о тестировании персонала именно в
области знаний, причем, специальных
знаний (или незнаний).

Условие
первое – нужно быть специалистом в
той области знаний, по которой вы решили
составить тесты. Условие это простое,
потому что если вы решили составлять
тесты, значит вы уже какой-никакой
специалист и останавливаться на этом
условии мы даже не будем. 

Условие
второе – при составлении тестов 
необходимо придерживаться определенных
правил, если можно так сказать – стандартов.
Второе условие более сложное, зато менее
принципиальное, чем первое, и в ряде
случаев им можно запросто пренебречь.
Например, в тех случаях, когда вы хотите
написать один единственный тест в своей
жизни, да и тот не для аттестации, а для
развлечения коллектива, то вы даже не
задумывайтесь над тем, что есть какие-то
правила написания тестов, просто пиши
свой тест и все.

Тестирование
(по оценке знаний) применяется и внедряется
очень широко.  Этот метод оценки
находит применение и в школах, и в ВУЗАх,
и в профобразовании, и при аттестациях
в организациях, и может применяться
буквально везде, где есть место
теоретической подготовке. Так широко
тестирование не применялось никогда
ранее. И это не случайно. Связано это с
тем, что сегодня тестирование получило
возможность использовать программные
средства, потому преимущества тестирования
перед другими видами оценки резко пошли
вверх.

Несмотря
на широкое распространение тестирования
как метода, правила написания тестов
пока еще никем, никогда и нигде не
представлялись широкой российской
публике. Речь, конечно, идет о составлении
аттестационных тестов, а не о психологических
тестах. Это значит, что составление
тестов происходит без правил, а это не
правильно и требует соответствующих
действий от сторонников тестирования.
Так как никакие другие правила и
стандарты, кроме тех, которые мы открыли
для себя сами за 4 года работы с тестами,
нам не известны, то мы предлагаем всем
желающим наши рекомендации по процедуре
составления тестов, которую мы называем
– ТЕСТОСТРОЕНИЕ.

Правила
составления тестов по оценке знаний.

Каждый
тест состоит из составляющих его
вопросов, а потому и начинать надо с
правил написания самих вопросов.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Методические рекомендации по составлению тестовых заданий

1. При создании тестов для проверки остаточных знаний по соответствующей дисциплине или для проверки итоговых знаний обучающегося/студента на основании программы дисциплины определяется область содержания теста и цели тестирования.

План теста (Приложение 1) для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с программой дисциплины, для проверки остаточных знаний по всем дидактическим единицам дисциплины в соответствии с ГОСом по профессии/специальности.

2.  Содержание теста должно соответствовать содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания.

3.   Необходимо включение в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. Все спорные точки зрения, допустимые в научном споре, следует исключить из тестовых заданий.

4.       Каждый учебный элемент должен иметь некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний.

1. При разработке плана тестовых заданий по дисциплине делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий (но не менее 3-х) по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе.

2. Общие рекомендации к тестовым заданиям

Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного заключения.

Основные термины тестового задания должны быть явно и ясно определены.

Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов по конкретной области знаний.

Тестовые задания должны формулироваться в виде свернутых кратких суждений.

В содержании тестового задания определяющий признак должен быть необходимым и достаточным.

Следует избегать тестовых заданий, которые требуют от тестируемого развернутых заключений на требования тестовых заданий.

При конструировании тестовых ситуаций можно применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.

Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области.

Среднее время  на тестовое задание не должно превышать 1,5 минуты.

1. Рекомендуется соблюдать следующие параметры тестов:

Соответствие содержания тестовых заданий государственному образовательному стандарту по учебной дисциплине (базовая часть тестовых заданий –70%- 85%), а также включение дополнительных тестовых заданий (вариативная часть  тестовых заданий – 15%-30%).

Необходимо проводить подбор заданий, комплексно отображающих основные темы учебной дисциплины.

Тестовые задания по конкретной учебной дисциплине должны наиболее полно отображать ее содержание и ключевые понятия, чтобы иметь качественную объективную оценку знаний студентов. Включение в тест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании учебной дисциплины.

Необходимо соблюдать пропорции в количестве тестовых заданий по темам учебной дисциплины.

Необходимо проверять соответствие  содержания тестовых заданий знаниям, навыкам и умениям, оцениваемым у студентов.

В каждом тестовом задании необходима определенность, логичность, отсутствие некорректных формулировок, выделение одного предмета измерения  (ключевого  понятия,  термина,  правила,  определения  и  т.д.).

1. Спецификация теста включает:

Цель создания теста, обоснование выбора подхода к его созданию,  описание возможных сфер его применения.

Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста.

Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.

Вес каждого задания, рекомендуемый автором теста.

Рекомендуемое время выполнения теста, среднее время выполнения одного задания с учетом специфики формы.

Охват требований государственных образовательных стандартов по дисциплине.

1. Рекомендации к формулировкам тестовых заданий

Основными элементами тестового задания являются инструкция,  задание (содержательная часть), ответы к заданию.

Инструкция к тестовым заданиям определяет перечень действий  при прохождении тестирования. Она должна быть адекватна форме и содержанию задания («укажите правильный ответ (ответы)», «установите соответствие», «определите правильную последовательность», «введите правильный ответ»).

Используемая терминология не должна выходить за рамки основных учебников и нормативных документов.

Содержательная часть задания не должна включать элементы инструкции.

Содержательная часть задания формулируется в логической форме высказывания, а не в форме вопроса; в ней не должны быть двусмысленные и неясные формулировки, вводные фразы, двойное отрицание, оценочное суждение, выясняющее субъективное мнение испытуемого.

Все повторяющиеся слова должны быть исключены из ответов и вынесены в содержательную часть задания.

В содержательной части и в ответах необходимо исключить слова «большой, небольшой, много, мало, меньше, больше, часто, всегда, редко, никогда …».

Все варианты ответов должны быть грамотно согласованы с содержательной частью задания, однообразны по содержанию и структуре, равнопривлекательны. Между ответами необходимы четкие различия. Правильный ответ однозначен и не должен опираться на подсказки.

Среди ответов должны отсутствовать ответы, вытекающие один из другого.

В варианты ответов нельзя включать формулировки «все перечисленное выше», «все утверждения верны», «перечисленные ответы не верны»,  так как такие ответы нарушают логическую конструкцию тестового задания или несут подсказку.

Число тестовых заданий с отрицанием должно быть минимальным. При этом частица «не» выделяется жирным шрифтом.

1.     Виды и типы тестовых заданий. Их особенности, преимущества и недостатки

Существуют два типа заданий, которые объединяют шесть видов

Схема 1. Типы и виды тестовых заданий

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

Задания закрытого типа

1. Задания альтернативных ответов.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – “да – нет”, “правильно – неправильно” и др. 

Форма задания

Текст задания (вопрос)	Ответ
Утверждение 1	да	нет
Утверждение 2	да	нет
Утверждение 3	да	нет

…        …        

Инструкция для задания альтернативных ответов: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

Задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и др.Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Рекомендации к заданиям с выбором ответа

1. В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

2. Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов;

3. Задание должно иметь предельно простую синтаксическую конструкцию;

4. В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы;

5. Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других;

6. Из текста должны быть исключены все ассоциации, способствующие выбору правильного ответа с помощью догадки;

7. Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова;

8. Из ответов исключаются все повторяющиеся слова за счет ввода их в основной текст заданий;

9. В ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все перечисленные», т.к. в отдельных случаях они способствуют угадыванию правильного ответа;

10. Из числа неправильных должны исключаться ответы, вытекающие один из другого;

11. Из числа тестовых должны исключаться задания, содержащие оценочные суждения или мнения испытуемого по какому-либо вопросу;

12. Все варианты ответов должны быть равновероятно привлекательны для испытуемых;

13. Ни один из вариантов ответов не должен являться частично правильным, превращающимся при определенных дополнительных условиях в правильный;

14. Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов;

15. Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;

16. Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах;

17. Все ответы должны быть параллельны по конструкции и грамматически согласованы с основной частью задания теста.

Форма предоставления заданий множественного выбора:

Вопрос (утверждение):

A. Вариант ответа 1

B. Вариант ответа 2

C. Вариант ответа 3

Инструкция для заданий множественного выбора: Выберите букву (ы), соответствующую (ие) варианту (ам) правильного (ых) ответа (ов). 

3. Задания на восстановление соответствия.

К заданиям данного типа относятся задания на восстановление соответствия между элементами двух списков, порядка ряда. Состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы) или 1:M (одному элементу первой группы соответствует М элементов второй группы). Внутри каждой группы элементы должны быть однородными. Количество элементов во второй группе должно превышать количество элементов первой группы, но не более чем в 1,5 раза. Максимально допустимое количество элементов во второй группе не должно превышать 10. Количество элементов в первой группе должно быть не менее двух.

Форма представления заданий на восстановление соответствия:

Инструкция: Соотнесите написанное в столбцах 1 и 2.

Вопрос:

Варианты ответа:

Столбец 1	Столбец 2
А.	1.
Б.	2.
В.	3.
Г.	4.
Д.	5.

Ответ: А. 3.  Б. 2.  В. 5.  Г. 1.  Д. 4.

Главными преимуществами заданий этого вида являются: возможностью быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте. 

4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановления соответствия, когда одним из рядов является время, расстояние, или иной континуальный конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности – это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки.

Задание.

Инструкция: Расположите в правильной последовательности.

Вопрос.

Варианты ответа.

1. А.

2. B.

3. С.       …….                             Ответ: 1. А. 2. D. 3. В. 4. Е. 5. С. 6. F.

Преимущества заданий закрытого типа

Задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность.

Оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий.

Не учитывается умение испытуемых хорошо формулировать ответы.

Задания этого типа легко обрабатываются, тестирование быстро проводится.

Простой алгоритм заполнения снижает количество случайных ошибок и описок.

Эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно.

Возможна машинная обработка ответов.

Низкая вероятность угадывания правильных ответов.

Возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования

Задания открытого типа

Требует сформулированного самим тестируемым заключения на требования задания. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве ключевых элементов могут быть: число, слово или словосочетание. При формулировке задания на месте ключевого элемента, необходимо поставить прочерк или многоточие. Отсутствующий элемент (правильный вывод) в задании открытой формы вводит тестируемый  на месте прочерка и/или в специальном поле, хорошо видимом испытуемым.

К ним относятся задания двух видов:

1) дополнения (задачи с ограничением на ответы). В этих заданиях испытуемые также самостоятельно давать ответы на вопросы, однако их возможности ограничены.

Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо многоточия впишите только одно слово (символ, знак и т.д.).

Пример задания дополнения.

Инструкция: Вместо многоточия впишите только одно слово.

Вопрос: Фирма, предоставляющая сетевые услуги – это …

Ответ: провайдер.

2) Свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ (словосочетание, фразу, предложение или несколько предложений).

Пример задания свободного изложения.

Инструкция: Закончите предложение.

Вопрос: Специальная программа, реализующая правила передачи информации между компьютерами – это … …

Ответ: сетевой протокол.

Трудность в применении этого вида задач заключается в сложности с формализацией ответов, необходимость подготовки оценочных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение.

Основная трудность при составлении заданий открытого типа – соблюдения основного требования к тестовым заданиям (наличия однозначного правильного ответа).

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

1) невозможность угадать ответ;

2) краткость и однозначность ответов;

3) необходимость воспроизведения ответа по памяти;

4) отсутствие необходимости искать несколько вариантов ответа;

5) простота формулировки вопроса;

6) простота проверки.

1.    Критерии выставления оценки

Оценка «удовлетворительно» ставится, если обучающийся/студент ответил на от 55 до 70% вопросов. Оценка «хорошо» ставится, если обучающийся/студент получил от 71 до 85%. Оценка «отлично» ставится, если обучающийся/студент получил 86% и более.

Приложение 1 Пример плана теста

Номер задания	Тема	Шифр темы	Вид задания*
А1	Основные законы химии. Количество вещества. Молярная масса.(Задача)	1	2
А2	Молярный объем газа. (Задача)	1	2
А3	Число Авогадро (Задача)	1	1
А4	Основные типы химических реакций	3.2, 3.3	2
А5	Периодическая система Д.И.Менеделеева и свойства химических элементов	3.1	1
А6	Химическая связь и строение вещества	3.4	2
А7	Химическая  кинетика и катализ. Скорость реакций. Катализ. (Задача)	2. 2.3 1.3	2
А8	Химическое равновесие. Константа равновесия. Смещение равновесия.	2.1, 2.2	3
А9	Дисперсные системы. Общие свойства растворов. Энергетика растворения.	1.1 1.2	2
А10	Состав растворов. Массовая доля. Молярная концентрация.	1.1,	3
А11	Растворы электролитов. Диссоциация кислот, оснований, солей.	1.1 3.2	2
А12	Кислотно-основные реакции. Гидролиз солей.	3.2	2
А13	Реакции ионного обмена. Выпадение осадка, образование  газа.	3, 3.2	2
А14	Химические свойства простых веществ, оксидов, кислот, оснований	3	1

Шифр темы	Количество заданий	% от всего теста
1
1.1
..
Всего

*Примечание. Виды тестовых заданий:

1 – задания с выбором одного или нескольких правильных ответов;

2 – задания открытой формы, т. е. без указания ответов (дополнения и свободного изложения)

3 – задания на установление соответствия

4 – задания на установление правильной последовательности

5 – задания альтернативных ответов