Кто помог нам разобраться
Научный сотрудник лаборатории измерения новых конструктов и дизайна тестов в Центре психометрики и измерений в образовании Института образования ВШЭ. Руководитель проекта «4К: измерение критического мышления, креативности, коммуникации и кооперации». Преподаёт в Институте образования психометрику и методологию измерений в психологии и образовании.
В этой статье речь пойдёт о разработке образовательных тестов — заданий по проверке предметных знаний и навыков. Но в целом описанные правила универсальны: тесты для оценки психологических качеств или софт-скиллов разрабатываются аналогично.
Вы узнаете:
- можно ли с помощью теста, где учащийся выбирает из вариантов ответов, проверить, как он умеет рассуждать;
- можно ли измерить тестом не просто знание фактов, а понимание учебного материала;
- чем трудные задания отличаются от сложных и почему трудным тест может быть, а вот сложным его лучше не делать;
- с каких заданий лучше начинать — простых или трудных;
- какое количество вариантов ответа оптимально;
- как проверить, работает ли тест.
Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. Мы подробно разберём инструмент, за которым в русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.
У стандартизированных тестов в образовании не лучшая репутация. Но психометрики по-прежнему отстаивают такой способ измерения: тесты с выбором ответа масштабируемы, справедливы и объективны. Это значит, что по одному и тому же тесту можно проверить сколько угодно учащихся, причём все будут в равных условиях, а на результат не повлияет ничьё постороннее мнение.
Но в то же время любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить. Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам.
Для каких конструктов подходят тесты с выбором ответа? Это практически идеальный инструмент для оценки знания фактов и сугубо технических навыков. Например, для проверки знания о том, как отделить команды друг от друга при программировании на определённом языке.
А вот проверить, как учащийся умеет рассуждать, взаимодействовать с коллегами или находить практическое решение в сложной ситуации, тест с выбором ответов не поможет. Чем сложнее природа конструкта, тем более гибким должен быть инструмент измерения.
Такие тесты способны выявить не любые знания. В любой дисциплине есть простые факты, и по ним легко написать вопросы с несколькими вариантами ответа. Например, спросить, в каком году Колумб открыл Америку.
А есть элементы знания, для которых простого запоминания недостаточно. Например, если мы хотим спросить, какие события и явления стали предпосылками для открытия Америки, вопрос с выбором ответа из нескольких уже не так хорош.
Каждый преподаватель хочет, чтобы студенты не только помнили факты, но и понимали материал. Но, увы, понимание как таковое пока невозможно измерить. Может быть, нейронауки в отдалённом будущем дадут возможность следить за всем, что происходит внутри черепной коробки каждого ученика. Но сейчас психометрика работает с тем, что можно наблюдать, с поведенческими проявлениями. У понимания таких универсальных проявлений нет.
Потому в педагогических измерениях, когда нужно оценить более глубокие, не фактологические знания, измеряют не само по себе понимание, а умение интерпретировать или анализировать. И более практичны, чем тесты с выбором из нескольких вариантов, тут задания с открытым ответом или компьютерные симуляции и игры. В таких инструментах среда тестирования будет более гибкой, чем стандартизированные тесты.
Если ваша задача — проверить усвоение фактологических знаний или отдельных навыков, тест с выбором ответов вполне подойдёт. Чтобы составить и распространить такой тест, не нужны сложные цифровые сервисы. Для базовых задач вполне достаточно форм Google или «Яндекса».
В этом разделе статьи разберёмся с основными вопросами о том, как составить хороший тест. А если нужно узнать по этой теме больше, советую книгу: Haladyna T. M., Rodriguez M. C. Developing and validating test items (Routledge, 2013) — и другие работы её авторов. Правда, на русском языке она, к сожалению, не выходила.
К концу теста любой учащийся устаёт. Поэтому последние задания зачастую уже не дают никакой информации о знаниях тестируемого. Получается, делать тест слишком длинным нельзя.
Но и коротким он быть не может — у небольших тестов ниже надёжность. На какой-то вопрос учащийся даст неверный ответ по невнимательности, а где-то, наоборот, случайно угадает правильный вариант. Если тест будет достаточно объёмным, больше шансов, что такого рода ошибки уравновесят друг друга и итоговый результат будет достоверен.
Так как определить, какой длины должен быть тест? Нужно отталкиваться от времени на решение одного задания. Оно зависит от трудности и может составлять от нескольких десятков секунд до пяти минут. Также стоит учитывать возраст учащихся:
- Детям до подросткового возраста нельзя давать задание дольше, чем на 20 минут, — или нужно предусмотреть возможность перерыва в тесте.
- Для старших подростков и студентов, а также взрослых лучше исходить из продолжительности привычного занятия. Например, для старшеклассника нормально посвятить тесту урок в 45 минут (или два урока с переменой между ними). А для студентов уже можно написать тест и на 80 минут.
- В дополнительном образовании взрослых следует учитывать, что взрослый человек уже не считает себя обязанным участвовать ни в каких тестах. Ему нужна дополнительная мотивация. Например, можно пообещать индивидуальную обратную связь по результатам теста (и потом обязательно её предоставить!).
Золотое правило таково: чем больше часов на тему отведено в курсе, тем больше вопросов в финальном тесте. Потому что изначально, когда курс составлялся, большее число часов было запланировано на более важную тему.
Если темы не слишком дробные, хорошо бы поставить минимум три вопроса на каждую. Опять же, потому, что случайные ошибки уравновесят друг друга. Но обратную связь потом лучше давать не только по каждому отдельному заданию, но и по теме в целом.
Небольшое отступление: в психометрике задание может быть трудным, но не сложным. Трудность в этой науке понимают так же, как обычно в русском языке. Чтобы справиться с трудным заданием, нужно обладать высоким уровнем знаний по теме. Скорее всего, немногие ученики решат трудное задание.
А сложность — отдельное психометрическое понятие. Оно характеризует, сколько действий и когнитивных операций нужно выполнить в процессе решения. Возьмём математический пример. Задание разделить 0,219 на 0,365 трудное, но не сложное: оно состоит всего из одного действия.
И начинать тест следует с более лёгких заданий, то есть с нетрудных. В начале теста уровень стресса всегда выше, что искажает результаты. Если вопросы в тесте распределены по тематическим блокам, можно в каждом из них располагать задания от лёгких к трудным.
Кстати, вопрос о распределении по тематическим блокам сам по себе непростой. С одной стороны, правильнее, чтобы тестируемый концентрировался в каждый момент теста на одной теме. С другой стороны, иногда важно проверить, может ли он быстро переключаться с одной проблемы на другую.
Как именно поступить, решают в зависимости от дисциплины и задач теста. Но важно ставить всех тестируемых в одинаковые условия, чтобы результаты были сопоставимы.
В целом делить на блоки тест правильно: так тестируемый увидит, что тест не бесконечен. В ситуации компьютерного тестирования, когда нельзя пролистать задания и понять, сколько ещё осталось, это важно. И, конечно, нужно предупредить, если время на ответы ограничено.
Наиболее привычны сегодня тесты как в ЕГЭ — с четырьмя вариантами ответа. Иногда можно услышать, что это связано с объёмом рабочей памяти: якобы четыре варианта появились, потому что именно такое количество элементов средний человек способен одновременно удерживать в уме.
Психологи-когнитивисты такое обоснование считают ненаучным. Скорее всего, к четырём вариантам ответа практики пришли случайно, и ничего биологически или психологически заданного в этой цифре нет. Вариантов может быть и меньше — например, три.
А вот придумать больше неверных ответов обычно затруднительно.
Создание неправильных вариантов ответа — на самом деле сложное психометрическое мастерство. Не зря их называют дистракторами, то есть отвлекающими внимание от верного варианта.
Суть в том, что неправильные ответы должны быть похожи на правильный и привлекательны. Очевидно неправильных ответов нужно избегать, как и ответов из другой области. Например, если в вопросе стоит формулировка «В каком году?», все ответы должны быть датами примерно из одного диапазона.
Но неверные варианты не должны содержать в себе правильный ответ или какую-то его часть — иначе нужно в вопросе объяснить, что тестируемый должен выбрать самый правильный ответ.
Высший пилотаж — неправильные варианты на основе типичных ошибок студентов. Это позволяет давать более глубокую обратную связь: не просто показывать, где учащийся ошибся, а анализировать, почему он выбрал именно такой неправильный вариант.
Кроме надёжности, у любого теста есть ещё одно важное качество — валидность. По классическому определению, валидность — свойство теста измерять то, на что он направлен. Более современное определение гласит, что результаты валидного теста можно интерпретировать в той логике, в которой он создан.
И иногда на валидность может повлиять просто то, что тестируемый иначе (но не неправильно!) смотрит на ситуацию в задании.
Возьмём пример из теста на критическое мышление, разработанного в ВШЭ. Это тест‑симуляция онлайн-среды, в ней нужно общаться с ботом. Одна из задач — получить недостающую информацию для рецепта торта.
По идее, тестируемый должен задать боту конкретный вопрос, например: «Сколько яиц нужно добавить?» Но человек может начать с приветствия, и не потому, что не понял задание. Сказать «Привет, как дела?» перед тем, как уточнять рецепт, вообще‑то нормально. Но если об этом не подумать при составлении теста, такой ответ будет оцениваться как ошибочный.
Одно из частых опасений по поводу тестов и причин, почему в них предлагают добавлять больше вариантов ответа, — «угадайка». Кажется, что в задании с двумя вариантами ответа вероятность угадать составляет 50%. Но это верно только в случае, когда весь тест состоит из одного вопроса с двумя вариантами ответа.
Если добавить второй вопрос, в котором не будет подсказок к первому и наоборот, вероятности просто перемножатся. И шанс случайно угадать правильные ответы составит уже 25%. В случае с тестом из десяти заданий вероятность ответить на всё правильно случайно пренебрежимо мала.
Но такой расчёт справедлив только для тестов с хорошо написанными неправильными ответами.
На магистерской программе Института образования психометриков учат проверять работоспособность тестов все два учебных года. Попробуем коротко разобрать, что именно они изучают.
Проверить тест можно качественным или количественным методом. Качественный метод представляет собой интервью. Разработчик теста выдаёт задания представителю целевой группы, наблюдает за ним и расспрашивает. Так можно выяснить, всё ли понятно в заданиях, что именно тестируемый делает для решения, какие вопросы ставят его в тупик, а какие кажутся слишком простыми.
Цель качественной проверки — убедиться, что решение теста задействует именно те когнитивные процессы, которые требовалось вовлечь (скажем, тестируемый действительно решает математическую задачу, а не навскидку выбирает из вариантов наиболее подходящий), что варианты-дистракторы не содержат элементов правильного ответа, что все инструкции к тесту понятны и так далее.
Оценка работоспособности теста количественными методами — как раз психометрика в узком смысле слова. Проводится она через статистический анализ, для которого нужно порядка 100 наблюдений.
Понятно, что для каждого курса такую проверку не проведёшь, обычно достаточно интервью. Но количественная оценка обязательна, если по результатам теста принимается какое-либо решение — о зачислении на курс, о сертификации.
В результате разработчик теста получит все те же данные, что и при качественной оценке. К тому же количественная оценка покажет, какие вопросы и утверждения не измеряют то, что должны, а какие вообще избыточны — тест работает и без них.
Реферат
14.05.2019.
Тест. Русский язык, 11 класс
Будьте внимательны! У Вас есть 10 минут на прохождение теста. Система оценивания – 5 балльная. Разбалловка теста – 3,4,5 баллов, в зависимости от сложности вопроса. Порядок заданий и вариантов ответов в тесте случайный. С допущенными ошибками и верными ответами можно будет ознакомиться после прохождения теста. Удачи!
Список вопросов теста
Вопрос 1
Укажите, где правда, а где ложь.
Варианты ответов
- реферат – то же самое, что и тематический конспект
- в реферате информация излагается кратко
- в реферате нет связи между частями
- реферат необязательно писать самому: можно взять уже подготовленную информацию
Вопрос 2
Укажите приблизительный объём школьного реферата.
Варианты ответов
- 3-4 стр.
- 5-8 стр.
- 15-20 стр.
- 10-15 стр.
Вопрос 3
Выберите верное высказывание.
Варианты ответов
- реферат можно оформлять как угодно
- о теме исследования рассказывается в заключении реферата
- прежде чем составлять план, нужно определить основную мысль реферата
- заключение реферата должно занимать 2-3 страницы
Вопрос 4
Выберите основные определения реферата.
Варианты ответов
- небольшая научно-исследовательская работа, которая раскрывает суть определённой проблемы
- небольшое научно-практическое исследование на определённую тему
- фундаментальное научное исследование
- целостное, последовательное, но при этом сжатое изложение текста
Вопрос 5
Выберите общие характеристики для реферата и тематического конспекта.
Варианты ответов
- единое содержание
- логическая связь частей
- допускается расчленённое изложение текста
- излагается своё мнение по данной теме
Вопрос 6
Укажите, где правда, а где ложь.
Варианты ответов
- в реферате изложение может быть только последовательным
- в тематическом конспекте нужно высказывать мнение по определённой теме
- в реферате не допускается использование электронных источников
- список литературы в реферате может быть алфавитным
Вопрос 7
Выберите обязательные структурные части реферата.
Варианты ответов
- приложение
- титульный лист
- введение
- заключение
- основная часть
Вопрос 8
Укажите порядок составления написания реферата.
Варианты ответов
- определение темы
- составление плана
- работа с источниками
- систематизация и компоновка информации
- написание и оформление реферата
Вопрос 9
Какой из этих Интернет-источников можно считать достоверным?
Варианты ответов
- личный блог
- научная энциклопедия
- личные письма писателя
- научная статья, размещённая в открытом доступе
- обзор в газете “Сенсационные события”
Вопрос 10
Сопоставьте части реферата и информацию, которая в них даётся.
1.
титульный лист
2.
введение
3.
основная часть
4.
заключение
Варианты ответов
- краткие выводы
- автор реферата
- история вопроса
- актуальность реферата
- цели и задачи исследования
2. Достаточным основанием
для темы выбора реферата является
3. На какую помощь со
стороны преподавателя может рассчитывать автор в процессе работы над
рефератом
5. Если в цитате автором
реферата делаются какие-либо выделения, тогда
6. Основное содержание
конспекта реферата составляет информация
7. В заключении автором
реферата
8. Изложение в реферате
обычно ведется от
9. В тексте данной работы
(методическом пособии по оформлению реферата)
не применяются сноски
10. При оформлении таблицы
слово “Таблица” необходимо располагать
11. Основные заголовки
пишутся
12. Внутренние заголовки
выполняются
13. Какого вида сносок
не существует?
14. В сокращенном варианте
сноски указывают
15. Применение сокращений
слов в тексте реферата
16. Подзаголовки граф
таблиц
17. Таблицы и рисунки
нумеруют
18. Общая единица измерения
физической величины параметров, размещенных в таблице, печатается
19. Реквизит “место
издания (город)” на титульном листе расположен на странице
20. В устное изложение
основного замысла реферата включается
Методика составления теста
Составила преподаватель информатики
Власовец Надежда Витальевна
Содержание:
Введение (Актуальность программного обеспечения вида “Тесты”) 3
Теория создания тестов для системы образования 4
Правила составления тестовых заданий 8
Технология составления педагогического теста 9
Содержание теста 15
Целеполагание на этапе планирования содержания теста 15
Состав требований к планируемым результатам обучения 16
Спецификация теста 18
Формы предтестовых заданий 19
Требования к предтестовым заданиям 20
Задания закрытой формы 20
Задания открытой формы (задания на дополнение) 21
Задания на установление соответствия 22
Задания на установление правильной последовательности 22
ЛИТЕРАТУРА: 25
Введение (Актуальность программного обеспечения вида “Тесты”)
Что такое тест? Ответом на это могут быть строки: «Тест обученности – это совокупность заданий, сориентированных на выявление уровня усвоения определенных аспектов содержания обучения. Тест состоит из задания на деятельность данного уровня и эталона…». Отсюда следует, что объектом исследования в форме тестирования являются определенные аспекты содержания обучения.
Каким должен быть тест, и в том числе, тестирующая программа, – нельзя дать однозначного ответа. Все зависит от многих факторов. Что может сказать любой учитель, так это:
во-первых, какая цель поставлена перед обеими сторонами этого исследования (одной, тестирующей ‑ учителем и другой, тестируемой ‑ учащимся), то есть объект исследования, которым являются в нашем случае «определенные аспекты содержания обучения» информатике;
во-вторых, какими средствами и методами вооружен учитель.
Сегодня учитель должен следовать за развитием информационных технологий. Они диктуют новые формы и методы в педагогическом труде.
Зачем нужно тестирование на обычном уроке? Первое – для экономии времени на проведение контроля знаний учителем. Так было до недавнего времени. Сегодня, учитывая возможности современной техники, используемой для этих целей, применение тестирования значительно расширяется. При однообразной работе понижается работоспособность учащихся. Тест же позволяет использование его на уроках разного типа – при контроле (и самоконтроле знаний), при закреплении полученных знаний, а также разной формы – при самостоятельной, групповой работе, при проведения фронтального опроса. Все чаще можно встретить использование тестирующих программ во внеклассной работе (турнир, игра). Процедура проведения тестирования знакома всем. Сценарии уроков могут быть разными в зависимости от поставленных учителем целей, от подготовленности испытуемых, и, конечно, от содержания самого теста (заданий). Результат тестирования зависит от многого: содержания теста, насколько правильно подобраны вопросы и ответы, от отведенного времени на тестирование, от того, правильно ли выбрано место урока при изучении темы и т.д. Добиться сбалансированности вопросов-ответов теста можно, хорошо зная предмет и особенности психики учащихся. Понятно, что учитель сможет добиться успехов в воспитании и обучении школьников, зная этапы возрастного развития детей и учитывая их личностные качества.
С точки зрения учителя информатики большое значение имеют технические средства обучения (ТСО), то есть инструмент тестирования, которыми может располагать учитель. Это может быть изготовленная учителем перфокарта – эталон с отверстиями в соответствующих правильным ответам позициях и подготовленные бланки для заполнения их учениками, – за неимением техники и она может как-то помочь учителю провести контроль знаний.
Сегодня в распоряжении учителя есть мощный компьютер с большим набором программ (в том числе на компакт-дисках). Сегодня, имея современный компьютер (допустим, типа Pentium II, с операционной системой Win95/98/2000), конечно же, никто не будет для экономии оперативной памяти, и тем более, памяти на винчестере, по старой привычке составлять программу на алгоритмическом языке, разве что в учебных целях при обучении программированию.
Если говорить с позиций пользователя Pentium, любое из приложений операционной системы Windows (Word/Excel/Access/PowerPoint), являясь мощным инструментом в руках подготовленного пользователя, позволяет быстрее и качественнее выполнить аналогичную работу на компьютере. Можно не перечислять достоинства новой техники и программного обеспечения. Учитель информатики, а вслед за ним и учителя других предметов не оставят без внимания появившиеся возможности прикладных программ для организации контроля знаний. При помощи интегрированного пакета программ (к примеру, MS Office) можно значительно быстрее создать свое программное тестирующее средство. Этим инструментом сможет воспользоваться учитель, не представляющий, что такое алгоритмический язык. К этой работе можно привлечь большее, чем ранее, количество учащихся. Пользователей компьютера всегда больше, чем программирующих учеников. В среде каждого из приложений, и в том числе Word, можно расширить возможности создаваемого документа (в нашем случае, тест-программы), применяя макрокоманды (макросы) и графические объекты; в среде Excel – применяя формулы при автоматизации вывода результата в виде оценки и дальнейшего анализа ответов в виде диаграмм; в среде Access, создав базу данных для групп и отчеты по данным тестирования; и, наконец, в среде PowerPoint ‑ готовя презентацию (чтобы и себя порадовать, и администрацию удивить). Импорт данных из одного приложения в другое – большой “плюс” в пользу этого средства. Эстетическое удовольствие при создании привлекательного программного продукта, как и при ответах на вопросы тест-программы с красивым интерфейсом – одна из составляющих успешного педагогического труда.
Вопрос о том, умеют ли ученики работать с тест-программой, становится особенно актуальным. Наверное, многие согласятся, что при прохождении Телетестинга в наилучших условиях оказываются те, кто имеет не только лучшие знания по предмету, но и навыки такого тестирования.
Каждый учитель заинтересован не только в хороших результатах своих учеников. Использование тестирующих программ крайне актуально.
Я решаю проблему тестов по предмету «Прикладная информатика авторской разработкой Иванцова А. С., выполненной в Microsoft Access. Тест содержит систему вопросов по основным разделам предмета, изучаемых в курсе информатики.
Каждая из программ, являясь тестом обученности по предмету, в то же время позволяет использование ее на уроках
разного типа:
-
при закреплении изучаемого материала (тест-тренинг),
-
при контроле знаний (тест-контроль) и
разной формы:
-
при обучении в сотрудничестве (работе парами),
-
при индивидуальной работе (подготовке к контрольной работе, зачету).
Возможности программы:
-
Порядок ответов на каждый вопрос меняется случайным образом;
-
Выбор блока вопросов из предложенного количества при помощи задания номера первого вопроса и количества вопросов;
-
Установка предельной нормы расхода времени на ответы;
-
Установка, по желанию, режима смены порядка вопросов теста;
-
Установка режима «жесткости» контроля (одного из четырех или своего);
-
Вывод, по желанию, списка правильных ответов (в текущем сеансе);
-
Сопровождение коротким сигналом неправильного ответа (по желанию).
-
Результат работы программы – вывод десятибалльной оценки знаний, количества правильных ответов, общего числа ответов, затраченного времени и количества запусков теста.
Теория создания тестов для системы образования
Тесты как измерительный инструмент используются в большинстве стран мира. Их разработка и использование основано на мощной теории и подтверждено многочисленными исследованиями. Тестология как теория и практика тестирования существует более 120 лет, и за это время накоплен громадный опыт использования тестов в различных сферах человеческой деятельности, включая образование.
Тесты – одно из средств проверки и оценки результатов обучения школьников. В последнее время они получают все большее применение в практике обучения.
Тест (от английского test – испытание, проверка) – стандартизированные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий.
Требования, предъявляемые к тестам: надежность, валидность, репрезентативность. Факторы, определяющие надежность теста:
-
правильный выбор параметров, адекватно отражающих обученность;
-
технологичность (четкость, ясность) инструментария проверки и оценки – четкая инструкция об организации проверки, однозначность оценки;
-
одинаковость условий каждого тестирования;
-
однородность (равнозначность) измерителя.
Валидность – аспект надежности. Валидность в психологии и дидактике – это соответствие содержания теста результатам обучения, которые зафиксированы в программе. А содержание проверочных заданий должно соответствовать целям контроля. Валидность проверяется на основе сравнения результатов использования разработанного теста с результатами проверки уровня обученности протестированных школьников другими методами (устный опрос, традиционная контрольная работа), сопоставление этих результатов с текущей успеваемостью учащихся. Важнейшим здесь является полнота охвата заданиями проверяемого учебного материала, как говорят в дидактике, репрезентативность (представительность) проверочных заданий. Если речь идет об итоговой проверочной работе, то ею охватывается весь курс, важнейшие его темы, наиболее значимый в них материал.
Затрагивая вопросы методики использования тестов для контроля результатов обучения школьников необходимо вспомнить об основных функциях проверки и оценки результатов обучения. Выделим среди них:
-
учетно-контрольную (информационную), которая систематически позволяет учителю фиксировать результаты обучения и судить об успеваемости каждого ученика, его достижениях и недочетах в учебной работе;
-
контрольно-корректирующую (диагностическую), которая обеспечивает связь “учитель-ученик”, для внесения коррективов в методику обучения, перераспределения учебного времени между различными вопросами темы и пр., позволяет осуществлять диагностику причин отставания школьников;
-
обучающую, которая в результате помогает повторить материал, акцентировать внимание учащихся на главных вопросах и важнейших мировоззренческих идеях курса, указывает на типичные ошибки, что способствует закреплению и углублению знаний учащихся;
-
воспитательную (мотивационную), которая стимулирует учащихся к дальнейшей учебной работе, углублению своих знаний, развивает у школьников умения самоконтроля и самооценки;
-
аттестационную, которая связана с характеристикой уровня обученности школьника, является основой его аттестации, а также важнейшим компонентом аттестации работы учителя образовательного учреждения.
Какие же положительные стороны мы можем отвести тестированию?
Во-первых, тесты оказываются значительно более качественным и объективным способом оценивания, так как стандартизирована процедура их проведения (на всех этапах проведения тестирования невозможно внести субъективную составляющую в оценку, она не зависит от настроения преподавателя, его отношения к конкретному учащемуся, впечатления от ответов на предыдущие вопросы). По данным английской организации NEAB, занимающейся итоговой аттестацией учащихся Великобритании, тестирование позволяет снизить количество аппеляций более чем в три раза, сделать процедуру оценивания одинаковой для всех учащихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.
Во-вторых, тесты – более емкий инструмент – показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков, а не на констатацию наличия у учащихся определенной совокупности усвоенных знаний. Стандартизированная форма оценки, используемая в тестах достижений, позволяет соотнести уровень достижений учащегося по предмету в целом и по отдельным его разделам со средним уровнем достижений учащихся в классе и уровнями достижений каждого из них. Кроме того, выполняя итоговую тестовую работу, каждый ученик использует знания по всем темам, изучение которых предусматривала программа. На устный экзамен обычно выносится 2-4 темы, на письменный несколько больше.
В-третьих, это более мягкий инструмент. Тестирование ставит всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.
В-четвертых, с точки зрения интервала оценивания тест – широкий инструмент. Если провести аналогию с прыжками в высоту, то традиционная контрольная работа представит собой палочку, на которой нанесены метки: 2, 3, 4, 5. В случае выполнения учеником всех заданий он получает отметку отлично. При этом совершенно не ясно, перепрыгнул он нашу палочку с запасом в два раза или пролетел прямо над ней. То же можно сказать и про нижнюю отметку.
Означает ли тот факт, что если ученик не выполнил ни одного задания, то он ничего не знает? Скорее всего нет. А означает ли, что ученики, выполнившие верно все задания контрольной работы имеют одинаковый уровень подготовки – вероятно, что тоже нет. Можно видеть, что тестирование предоставляет возможность расширить шкалу оценивания как вверх, так и вниз. Тестирование приходит в противоречие с учительским стереотипом о том, что отличную оценку нужно выставлять только в том случае, если все задания выполнены правильно.
В-пятых, необходимо отметить гуманизм тестирования, который заключается в том, что всем предоставляются равные возможности, широта теста дает возможность ученику показать свои достижения на широком поле материала. Таким образом, ученик получает некоторое право на ошибку, которого он при традиционном способе оценивания не имеет.
Кроме того, тесты эффективны с экономической точки зрения: основные затраты приходятся на составление качественного инструментария, т.е. носят разовый характер. При увеличении количества аттестуемых, эти затраты в значительной степени окупаются.
Классификация тестов
1. По процедуре создания:
· стандартизованные (в образовании, для целей итоговой аттестации);
· не стандартизованные.
2. По средствам предъявления:
· бланковые;
· предметные (манипулируем материальными объектами);
· аппаратурные (используются устройства для изучения особенностей внимания, восприятия, памяти, мышления);
· практические (лабораторные работы, снабженные соответствующими инструкциями и имеющие тестовое оснащение);
· компьютерные.
В рамках компьютерного тестирования В.С. Аванесов предлагает адаптивные тесты – задания, в которых предъявляются по одному, в зависимости от ответа испытуемого на предыдущий вопрос.
Какие же положительные моменты можно отметить в компьютерном тестировании?
Во-первых, тесты привлекают своей оперативностью: можно быстро проверить и оценить уровень усвоения учебного материала.
Во-вторых, повышается объективность проверки и оценки знаний и умений обучаемых.
В-третьих, тесты являются наиболее перспективными измерителями уровня обученности школьников в условиях введения в практику школы образовательных стандартов.
Компьютерные тесты имеют и свои недостатки – провоцируют случайные ошибки, не оставляют исходных результатов на случай апелляции.
3. По направленности:
· тесты интеллекта;
· личностные тесты;
· тесты достижений.
4. По характеру действий:
· вербальные (с использованием умственных действий);
· невербальные (связанные с практическим манипулированием предметов).
5. По ведущей ориентации:
· тесты скорости (содержат простые задачи; время решения ограничено);
· тесты мощности или результативности (содержат трудные задачи, время решения не ограничено, или мягко лимитировано);
· смешанные тесты (задачи различного уровня сложности, от самых простых до самых сложных, время испытания ограничено, но достаточно для решения большинства задач).
Эти тесты наиболее часто применяются на практике, к ним относятся большинство тестов школьных достижений.
6. По степени однородности задач:
· гомогенные (задачи, сходные по характеру, но различающиеся конкретным содержанием);
· гетерогенные (задания отличаются и по характеру, и по содержанию).
7. По объективности оценивания:
· объективные (в процессе обработки результатов тестирования не предусматривается использование субъективных толкований тестирующим);
· проективные тесты (допускается чрезвычайно большое разнообразие ответов и проявление определенной субъективности при их толковании тестирующим.
8. По специализации:
· широкоориентированные (для тестов в системе образовании), позволяющие оценить эффективность процесса обучения, степень освоения учащимися системы знаний, умений и навыков в ходе учебного процесса;
· узкоориентированные, направленные на выявление достижений учащихся в процессе освоения отдельных предметов, отдельных тем и т.д.
9. По целям использования (только для тестов в системе образования):
· предварительный определяющий тест (определяет знания в начале обучения, затрагивает минимум знаний по теме обучения);
· тест прогресса, достигнутого в процессе обучения, формирующий тест (затрагивает ограниченный сегмент обучения, раздел или главу, состоит из серии отдельных тестовых вопросов, всесторонне охватывающих ограниченную область обучения). Пример, обучающие тесты. Ученику даются конкретные инструкции для исправления обнаруженных ошибок;
· диагностический тест (содержит большое число вопросов, имеющих отношение к конкретной тестируемой области). Цель теста – определение трудностей обучения.
· суммирующий тест (используется для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса, содержит вопросы, представляющие более высокий уровень сложности, чем другие виды тестов).
10. По широте использования (только для тестов в системе образования):
· для использования учителем;
· для использования группой учителей или администрацией образовательного учреждения;
· для целей отбора и формирования групп;
· для аттестации учащихся.
11. По форме:
· тесты закрытого типа (задания с выбором верного ответа (или нескольких верных) из набора предлагаемых;
· тесты открытого типа (ввод предполагаемого ответа на задание самим тестируемым).
Правила составления тестовых заданий
Начинайте формулировать вопрос с правильного ответа.
Содержание задания должно отвечать программным требованиям и отражать содержание обучения.
Вопрос должен содержать одну законченную мысль.
При составлении вопросов следует особенно внимательно использовать слова “иногда”, “часто”, “всегда”, “все”, “никогда”.
Вопрос должен быть четко сформулирован, избегая слова большой, небольшой, малый, много, мало, меньше, больше и т.д.
Избегайте вводных фраз и предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает.
Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.
Не задавайте вопросы с подвохом (в заблуждение могут быть введены наиболее способные учащиеся).
Все варианты ответов должны быть грамматически согласованы с основной частью задания, используйте короткие, простые предложения, без зависимых или независимых оборотов.
Реже используйте отрицание в основной части, избегайте двойных отрицаний, таких как: “Почему нельзя не делать…?”
Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.
Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Применяйте правдоподобные ошибочные варианты, взятые из опыта.
Если ставится вопрос количественного характера, ответы располагайте по возрастанию, если дистракторы представлены в виде слов текста, располагайте их в алфавитном порядке.
Лучше не использовать варианты ответов “ни один из перечисленных” и “все перечисленные”.
Избегайте повторения.
Используйте ограничения в самом вопросе.
Не упрощайте вопросы.
Место правильного ответа должно быть определено так, чтобы оно не повторялось от вопроса к вопросу, не было закономерностей, а давалось в случайном порядке.
Лучше использовать длинный вопрос и короткий ответ.
Проанализируйте задания с точки зрения неверного ответа наиболее подготовленных учеников.
Технология составления педагогического теста
Являясь частью многих педагогических новаций, тесты позволяют получить объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным уровневым стандартам знаний, выявить пробелы в подготовке учащихся. В сочетании с персональными ЭВМ и программно-педагогическими средствами тесты помогают перейти к созданию современных систем адаптивного обучения и адаптивного контроля наиболее эффективных, но, к сожалению, наименее применяемых форм организации учебного процесса.
Широкие возможности современных тестов в решении ряда важных для образования и общественной жизни задач почти не задействованы, а там, где их пытаются задействовать, делается это неудовлетворительно, без опоры на имеющиеся в мировой науке достижения, самостоятельно. Отчасти это происходит из-за слабой информированности преподавательского состава по вопросам теории и методики тестового контроля, отсутствия требуемой литературы, а также из-за очень распространенных представлений о кажущейся легкости создания теста.
1. Общие методики составления педагогического теста.
В повседневной практике каждого человека измерение ~ вполне обычная процедура. Измерение так же, как счет, вычисление, стало неотъемлемой частью производства и распределения. Но измерения по отношения к человеку всегда были актуальны и связаны с введением определенных правил, на основании которых испытуемым приписываются некоторых числа. Оперируя ими, можно получить новые сведения об объектах измерения, а всесторонний анализ факторов, влияющих на обучение студентов вузов и учащихся, с применением статистико-математических методов позволяет точно измерить интересующие нас показатели, сравнить их между собой, установить между ними связи и взаимозависимости.
Методика измерения профессиональных знаний, умений человека дело не простое. При отсутствии измерений оценка традиционно строится на интуиции, на анализе документов (дипломов, характеристик и т.п.), результатах “испытательного срока”, контрольных работ, рефератов и т.п.
При создании хорошо управляемых технологий обучения необходимо создать систему педагогических тестов, позволяющих объективно оценивать различные стороны процесса обучения, его результаты.
Понятии “тест” (от английского test – испытание, проба, исследование).
Одни авторы считают, что тест – краткое стандартизированное испытание, предназначенное для распознавания интересующих нас особенностей и качеств личности. Другие авторы отмечают, что в понятие “тест” необходимо включить и получение с помощью его объективных количественных оценок результатов обучения. В этих работах подчеркивается то, что тест является научно обоснованным методом эмпирического исследования в педагогике.
Следовательно, тест – краткое стандартизированное испытание, предназначенное не только для получения объективной количественной оценки результатов обучения, но и распознавания интересующих особенностей и качеств личности.
Более общее определение дается в работе [6]. Тест – “стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого” [6].
Можно дать более лаконичное определение теста. “Тест – краткое стандартизированное испытание, допускающее количественную оценку результатов на основе их статистической обработки” [7. С. 15]. Рассмотрим подробнее данное определение.
Во-первых, под “испытанием” подразумевается система заданий, на основании анализа результатов выполнения которой предстоит провести количественную оценку измеряемым качествам и свойствам.
Отбор и структура заданий теста зависит от того, какие показатели и факторы интересуют исследователя данной группы лиц. Каждое из заданий теста по своей сути представляет для испытуемого вопрос, проблему. Ответ на вопрос – это всегда устранение некоторых сомнений, колебаний, неопределенности в рассматриваемой ситуации с целью получения новых, более точных знаний.
Каждое из заданий теста содержит описание некоторой “ситуации”, взятой из природы, производства, педагогической деятельности и т.п. Это описание может быть представлено на различных “языках”: вербальном, языке символов, графиков, рисунков и т.п. Любое описание всегда приблизительно, неполно, и поэтому перед испытуемым ставится “требование” сделать его ситуации более точными, полными, используя с этой целью “информацию к решению”, содержащуюся в описании ситуации, тексте задания, а также привлекая “внешнюю по отношению к заданию информацию” ≈ известные испытуемому научные факты, закономерности и т.п. В процессе выполнения задания ему приходится перемоделировать ситуацию путем введения ряда упрощающих решение допущений, абстракций, переходя в описании от одного языка к другому.
Среди заданий теста следует различать:
– задания информативного характера;
– задания, решение которых может быть осуществлено алгоритмическим, формализованным путем;
– проблемы, для решения которых необходим эвристический и нестандартизированный поиск. Понятно, что подобное деление заданий носит условный характер.
В зависимости от полноты информации к решению, содержащейся в тексте, задания могут быть сформулированными и только поставленные. Сформулированные задания содержат оптимальную информацию к их выполнению, поставленные ≈ не требуют от испытуемого самостоятельно сформулировать задачу, оговорить условия, при которых рассматривается задание. Кстати, информация, содержащаяся в тексте задания (“исходные данные”), может быть представлена в явном виде или же в скрытой форме, требующей для ее извлечения выполнения более или менее сложных операций, что повышает сложность задания.
Во-вторых, тест – “стандартизированное испытание”, т.е. испытание, при котором все выполняющие задания находятся в одинаковых, строго оговоренных условиях. Только это позволяет сравнивать результаты тестирования, доводить результаты измерения до числа.
В-третьих, тест позволяет получить “количественную оценку” результатов тестирования. Поскольку предстоит измерить непрерывно изменяющиеся, не дискретные величины, то для доведения результатов измерений до числа используются специальные шкалы. В нашем случае шкала ≈ это определённая последовательность числовых значений результатов измерительных операций, применяемых к эмпирической системе.
Чем же отличается тест от педагогического теста? В работах, перечисленных выше, мы не встретим однозначного определения педагогического теста. Только в работе Аване-сова B.C. [4. С. 42] дается его определение. Педагогический тест – это “совокупность взаимосвязанных заданий возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности”. Очень существенно, что в определении основной упор делается на систему взаимосвязанных заданий возрастающей сложности.
В последней работе этого же автора [1] определение педагогического теста дается уже через систему фасетных заданий специфической формы, определенного содержания и возрастающей трудности. Автор отмечает, что педагогический тест позволяет качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений по учебной дисциплине.
Мы не совсем согласны с данным автором в том, что педагогический тест – это система только фасетных заданий, так как его можно составить, как показывает эксперимент, не используя фасет (варьирование содержания в пределах укрупненной единицы знания).
Условимся под педагогическим тестом понимать систему определенным образом расположенных заданий, позволяющих выявить структуру знаний, умений и измерить их [7. С. 16].
Результаты измерения заданий испытуемыми содержат самую разнообразную информацию в скрытой форме. Есть только один путь ее извлечения – сопоставление результатов выполнения достаточно большого числа заданий (необходимо “набрать статистику”). Только это позволяет получить выводы, заслуживающие доверия.
Педагогические тесты весьма разнообразны. С точки зрения целей применения, можно выделить:
– тесты достижения;
– критериально-ориентированные тесты, позволяющие сопоставить уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков;
– нормативно-ориентированные тесты, сравнивающие испытуемых друг с другом по уровням и учебным достижениям;
– аттестационные тесты, определяющие степень обученности;
– тесты прогнозирования результатов обучения.
Тесты могут использоваться для всесторонней оценки состояния испытуемых, например, до начала процесса их интеллектуального развития, способностей к конкретному учебному предмету, установления уровня обучаемости, уровня достижений в рассматриваемой области знаний.
В последнее время все большее признание в нашей стране получает новый вид тестов – критериально-ориентированные (“criterion-referenced test”), хотя в странах с высокой тестовой культурой они появились в шестидесятых годах.
Как и любой педагогический тест, критериально-ориентированный тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений. Но главная их особенность состоит в том, что критериально-ориентированные тесты сопоставляют уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков, которые должны быть усвоены студентами или учащимися.
Обычно критериально-ориентированные тесты используются для разделения учащихся на несколько групп по уровню их знаний. В самом простом случае это две группы – усвоившие и не усвоившие необходимый материал. В тесте образовательный стандарт выступает в виде критериального балла – минимального тестового балла, который должен получить студент, чтобы считаться усвоившим тот или иной материал. Для установления критериального балла используются экспертные методы анализа заданий.
Критериально-ориентированные тесты разрешают проблему соотношения тестовых баллов с традиционными педагогическими оценками. Устанавливаются такие критериальные баллы, которые делят испытуемых на группы, соответствующие оценкам “отлично”, “хорошо”, “удовлетворительно”, “неудовлетворительно”. Такая организация теста позволяет проводить в тестовой форме экзамены.
Критериально-ориентированные тесты помогают разрешить определенные задачи:
– сопоставление с требуемым стандартом образования достижений отдельных студентов, учебных групп;
– оценка доли учебного материала, усвоенной испытуемыми;
– выбор определенной технологии обучения;
– отбор испытуемых, достигших необходимого уровня квалификации.
В отличие от критериально-ориентированных, тесты достижений, как показывают проведенные нами исследования, являются надежным средством для быстрого и эффективного выявления уровня профессиональной подготовки студента и уровней обученности учащихся.
Тесты профессиональных достижений специфичны, предназначаются для конкретных профессий, и поэтому область их применения ограничена. Для нашего случая можно выделить две группы тестов профессиональных достижений:
– первая группа требует от испытуемого выполниения контрольных заданий, моделирующих профессиональную деятельность, на практически-семинарских занятия;
– вторая группа представляет собой набор заданий, выполняемых учащимися на практике.
Студенты, в зависимости от условий предъявления заданий, могут отвечать на них письменно или устно. Преподаватель в отдельных случаях может проводить опрос в форме интервью и беседы. Все эти методы характеризуются одним ведущим признаком: с их помощью получают ту информацию, которая заложена в словесных сообщениях опрашиваемых.
При беседе и интервью задания обсуждаются в очередности, которая предусмотрена конструкцией педагогического теста.
Методику разработки тестов достижений можно разбить на несколько исследовательских этапов:
– подбор типичных ситуаций, которые возникают в профессиональной деятельности учителя, “с одной стороны, они должны быть синтезированы и объединены вокруг определенной практической проблемы, имеющей многосторонний и целостный характер, а с другой ≈ они должны быть переведены на язык практических действий, практических ситуаций” [8. С.5];
– разработка методов перевода ситуаций на язык педагогических задач;
– разработка различных вариантов решения педагогических задач;
– определение ценности (веса) различных решений по каждой конкретной педагогической задаче;
– установление правильной последовательности предъявления системы заданий, составляющих тест достижений;
– экспериментальная проверка составленного теста.
Анализ профессиографических данных и дополнительных сведений об учебных программах, методах, формах, средствах обучения показал, что для разработки тестов достижений этого недостаточно, нужно еще и наличие специальной системы профессиональных знаний и умений.
В первоначальном варианте тест достижений имеет избыточное число заданий, часть которых после первой экспериментальной проверки убирается. О необходимости иметь избыток заданий в предварительном варианте говорят все исследователи, занимающиеся вопросами создания тестовых методов. Для каждого задания устанавливается свой эталон ответа.
При подготовке тестов достижений применяется экспертная оценка знаний и умений, осуществляемая параллельно с тестированием. Сначала испытуемые выполняют тест, и после этого их опрашивает группа экспертов. Баллы по тестам сопоставляют с оценками. Процент совпадений должен быть высок ≈ 85-90%, это является гарантией того, что в тест включен основной материал по предмету, как его выявили эксперты.
В зависимости от характера деятельности испытуемого при выполнении педагогического теста различают:
– тесты со свободно конструируемыми ответами;
– тесты на дополнение ответов, приведенных в заданиях;
– тесты выбора верных ответов из общего числа предложенных в задании (альтернативные тесты);
– комбинированные тесты.
Для оценки дидактических возможностей перечисленных тестов необходимо остановиться на характерных особенностях теста вообще и отдельных видов, в частности.
Каждое из заданий теста, как уже упоминалось ранее, содержит информацию к решению. Характер и объем ее может варьироваться как дидактическая помощь испытуемому. Её избыток может играть положительную роль в тестах, используемых в режиме обучения и даже диагностики, но оказаться нежелательным в тестах для оценки достижений, где основной функцией теста является контроль.
Следующая особенность теста – он может ограничивать испытуемых в их действиях, поисках решения. Как и в предыдущем случае, оценка этой особенности теста не однозначна. Все зависит от целей тестирования. Так, нередко одно и то же задание теста может быть выполнено на основе различных идей, методов решения. Пытаясь оценить, насколько испытуемые овладели некоторым конкретным методом, следует исключить возможность решения другими.
Из всех видов тесты выбора имеют преимущество в предоставлении испытуемым свободы в ответах на задания, как это бывает при самостоятельном конструировании ответов. Это достигается путем включения в число ответов к заданиям альтернативного варианта – ответ иной”, подразумевая ответ, отличный от всех остальных, приведенных к заданию.
Еще одна особенность тестов заключается в том, что конкретные формулировки заданий могут навязывать испытуемому вполне определенный порядок действий при их выполнении и логику поиска решения. Хорошо это или плохо – оценить однозначно невозможно. Все зависит от целей тестирования. Например, если основными целями применения теста является обучение, то рассматриваемая особенность тестов дает возможность формировать у испытуемых определенные методы рассуждений.
От вида теста самым существенным образом зависит, насколько проста и технологична обработка результатов тестирования. В этом смысле вне конкуренции тесты выбора. Тогда как при свободном конструировании ответов испытуемыми оказывается исключительно сложно обрабатывать результаты тестирования.
Заканчивая рассмотрение видов теста, следует упомянуть о так называемых ситуационных тестах, в которых все задания относятся к описанию одной и той же ситуации. К ситуационным тестам относятся тесты в форме программ решения задач и алгоритмов определенного типа. В них последовательность заданий диктуется логикой решения рассматриваемых задачных ситуаций. Результаты выполнения одних заданий могут быть использованы при выполнении последующих.
Как было отмечено выше, наиболее широкое распространение в педагогическом тестировании получили тесты выбора. Сравнивая их с другими видами педагогических тестов, следует отметить простоту обработки результатов их выполнения, что в рамках массового обучения имеет особую ценность. Перечислим ряд других ценнейших дидактических качеств тестов выбора.
1. Приводимые наборы ответов к заданиям теста:
а) средство доведения до испытуемых новой для них учебной информации;
б) средство показа различных мнений по одному и тому же вопросу;
в) показ различных идей, принципов, на основе которых может решаться рассматриваемая проблема.
2. Наборы ответов к заданиям – это средство диагностики, поскольку появляется возможность в число альтернативных ответов включать конкретные ошибки, что позволяет установить причины их возникновения.
3. Появляется возможность обеспечить “обратную связь” в обучении, как и для испытуемого, а отсюда и возможность для внесения коррективов в обучение.
4. Работа с тестом выбора является эффективным средством развития мышления испытуемых, поскольку она по своей сути складывается из операций сравнения, поиска альтернатив.
Встречающееся мнение о том, что ознакомление испытуемых с ложными ответами нежелательно, что эти ошибки могут закрепиться в их памяти, несостоятельно. Наоборот, работа с такими ответами позволяет вскрыть ошибочные мнения и их разрушить.
Ответы к заданиям теста могут находиться в различных отношениях друг к другу:
– противопоставления, противоположности, когда выбор одного из них в качестве верного является утверждением ошибочности всех остальных;
– равноправия, когда верными могут оказаться несколько из предложенных ответов;
– дополнения друг друга, когда только несколько отобранных ответов в сумме дают законченный ответ на поставленный в задании вопрос.
Процесс составления педагогических тестов является делом исключительно ответственным и трудоемким. Поскольку они являются основой контроля, диагностики в управлении процессом обучения, то становятся понятными исключительно высокие требования к содержанию и форме тестов. Если сказать в самом общем виде, то тест должен быть пригодным (валидным) с точки зрения поставленных перед ним целей измерения. Понятие валидности (перевод слова с английского valid – годный, пригодный) трактуется довольно широко.
В теории тестирования различают два типа валидности: внешнюю и внутреннюю. Внешняя валидность присуща тестам, не имеющим сходных компонентов с оцениваемой системой. Внутренняя валидность свойственна тем тестам, которые содержат в себе компоненты оцениваемой педагогической системы.
Мера валидности теста определяется несколькими способами, например, сравнением с тестом-эталоном и сопоставлением с более объективными показателями, полученными другими методами.
Сопоставление с объективными показателями предусматривает сравнение достижений испытуемого в тесте с результатами, полученными с помощью экспертов. В этом случае обычно берутся оценки, выставляемые испытуемому преподавателями-экспертами традиционным образом, без использования тестов, после чего результаты по заданиям теста и по оценкам экспертов коррелируются. Если получены однотипные изменения общих результатов, то считается, что тест обладает валидностью. Мера согласованности указывает на меру валидности. Следует заметить, что тест нельзя назвать валидным или невалидным без указания сферы его применения.
Тест считается содержательно валидным, если аспекты измерения соответствуют целям тестирования (аспектная полнота теста). При этом основное внимание в тесте (наибольшее число заданий) уделено наиболее важным из аспектов измерения (тест сбалансирован). Наконец, последовательность, в которой расположены задания и ответы к ним, логически обоснованы, такой тест представляет собой единое целое (конструктивно целостный). В педагогических тестах, разрабатываемых для контроля, диагностики знаний, валидность по содержанию играет решающую роль.
Выбор критериев, по которым предстоит оценивать результаты работы испытуемых с тестом, должен быть безупречен (критериальная валидность), гарантируя надежность, объективность, обеспечивая нужную точность измерения, давая возможность разделить испытуемых (дифференцирующие возможности теста).
Считается, что к тестовым заданиям относятся те, которые отвечают одновременно трем требованиям – корректности содержания, форме и наличию системообразующих свойств. Первому требованию отвечают задачи, вопросы, и потому этот признак необходим, но не достаточен.
Тестовые задания представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания [1. С. 105]. При разработке педагогических тестов придерживаемся данного утверждения. Традиционные вопросы не бывают ложными или истинными, а ответы на них бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда. В этом смысле традиционные вопросы и ответы не технологичны, вследствие чего их не рекомендуется включать в тест.
Задание в тестовой форме – это задания, к которым, помимо содержания, предъявляются требования тестовой формы, что делает их формулировки более лаконичными.
Самые жесткие требования предъявляются языку теста – однозначность его понимания испытуемыми, выразительность, лаконичность.
Таким образом, для разработки и применения в учебном процессе рассмотренных выше педагогических тестов необходимо учитывать объективные характеристики подготовительного процесса. А для этого нужно:
1. Выделить цели тестирования.
2. Отобрать педагогические ситуации.
3. Перевести (смоделировать) педагогические ситуации на язык учебных задач.
4. Переконструировать учебные задачи в тестовые задания.
5. Выбрать и оценить эталоны ответов.
6. Разработать план теста. (Предполагается раскладка необходимого числа заданий, исходя из общего предельного числа заданий разного уровня сложности).
7. Выделить аспекты тестирования.
8. Составить тест. (Эта работа должна проводиться опытными преподавателями).
9. Расположить задания в тесте с учетом системообразующих связей.
Следует отметить, что педагогический тест не может состоять из отдельных только легких или трудных заданий, он должен включать в себя задания различного уровня трудности, начиная с легкого и кончая трудным, на которые могут правильно ответить несколько испытуемых в тестируемой группе.
10. Проверить экспериментально разработанный тест.
В заключение следует отметить, что эффективность педагогического теста определяется творческим подходом составителей к разработке системы заданий, соответствующих конкретным целям тестирования.
Содержание теста
При создании теста внимание разработчика, прежде всего, привлекают вопросы отбора его содержания, которое можно определить как оптимальное отображение учебной содержания дисциплины в системе тестовых знаний.
Требование оптимальности предполагает использование определенной методики отбора, которая должна включать вопросы целеполагания, планирования и оценки качества содержания теста.
Целеполагание на этапе планирования содержания теста
Этап целеполагания является самым трудным и вместе с тем самым важным. От его результата зависит качество содержания теста. На этом этапе преподавателю необходимо решить вопрос, какие результаты студентов он хочет оценить с помощью теста.
Отбор содержания теста должен иметь четкую целевую направленность, а это при условии правильной постановки целей является серьезной заявкой на высокое его качество. Образно говоря, при создании теста в сознании разработчика содержание контроля преломляется сквозь призму поставленных целей измерения.
Проблема сегодняшнего дня состоит в том, что представления о наиболее общих целях контроля не позволяют непосредственно перейти к разработке средств измерения. Оказывается необходима промежуточная ступень, которую педагоги назвали предварительной операционализацией целей (этому закрученному выражению проще и лучше соответствует термин «конкретизация»).
Процесс конкретизации характеризуется рядом этапов, которые можно отобразить схематично на рис 1.
Рис.1
Состав требований к планируемым результатам обучения
В состав требований к планируемым результатам обучения обычно включают систему объектов изучения, описание видов учебной деятельности и качество усвоения учебного материала. Все это входит в систему научных знаний.
Первым компонентом требований системы научных знаний является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения студентами.
К элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.
Представляет интерес структура умений предложенная проф. И.И.Кулибабой:
Специальные, формирующиеся в процессе изучения отдельных дисциплин;
Рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, умения планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, умение управлять последней в процессе учения;
Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные дисциплины вуза.
За рубежом популярна следующая классификация целей обучения (или таксономия – по B.S. Bloom), которая представляет интерес для технологии разработки тестов:
1. Знание названий, имен, фактов.
2. Фактуальные знания.
3. Знание определений и понимание их смысла.
4. Сравнительные и сопоставительные знания.
5. Классификационные знания.
6. Знание противоположностей и противоречий, синомичных и антонимичных объектов.
7. Ассоциативные знания.
8. Причинные знания.
9. Алгоритмические, процедурные знания.
10. Обобщенные системные знания.
11. Оценочные знания.
12. Процессуальные знания.
13. Абстрактные знания.
14. Структурные знания.
15. Методологические знания.
Конкретизация учебных целей четко отражена в стандартах каждой специальности вуза. Профессор Кларин М.В. предлагает категории учебных целей в несколько измененном виде, в удобном для задач педагогического измерения (табл.1).
Табл. 1- Категории учебных целей для задач измерения
Обобщенные учебные цели (планирует преподаватель) |
Конкретизируемые учебные цели (достигаются студентом) |
Знания на уровне запоминания и воспроизведения |
Знает смысл употребляемых терминов, Знает основные понятия и определения, Знает формулы, законы, принципы |
Знания на уровне понимания |
Понимает и интерпретирует термины, Интерпретирует понятия и определения, Преобразует словесный материал в математические выражения, Интерпретирует словесный материал на схемах и графиках |
Умения по применению знаний в известной ситуации |
Умеет применять термины, понятия и определения в знакомой ситуации по образцу, Умеет применять формулы, законы и принципы |
Умения по применению знаний в незнакомой ситуации |
Использует законы и принципы в новых ситуациях, Осуществляет перенос известных принципов на незнакомые ситуации |
Анализ |
Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, Выделяет скрытые предположения, Проводит различия между фактами и следствиями. |
Синтез |
Пишет рефераты, проекты и т.п. Предлагает план проведения эксперимента, Решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую. |
Оценка |
Сопоставляет факты, Приводит оценочные суждения, Выбирает оптимальный вариант из предложенных к рассмотрению. |
После определения целей тестирования и их конкретизации разрабатывается план теста и его спецификация. При разработке плана определяется раскладка процентного содержания разделов дисциплины и число заданий по каждому разделу.
Раскладку начинают с подсчета планируемого числа заданий в тесте, которое затем будет меняться в процессе работы над тестом в сторону увеличения или уменьшения. Предельное число заданий в тесте не должно превышать 60-80, поскольку на тестирование отводится время не более 2-х часов. На выполнение одного задания теста отводится примерно 2 минуты. План теста можно свести в табл. 2.
Табл.2 – Пример плана теста
№ |
Контролируемое содержание (раздела, дисциплины) |
Число заданий |
Номера заданий |
1 2 … … 13 |
Определение уравнений Эквивалентность уравнений ………………………………. ………………………………. ………………………………. |
1 3 …. …. ….. |
1 4,13,35 …. …. …. |
Спецификация теста
После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:
1. Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения.
2. Перечень нормативных документов (стандарты специальности, базисные программ, требования к уровню подготовки выпускников.
3. Описание общей структуры теста, включающее перечень субтестов (если они имеются) с указанием подходов их разработки.
4. Количество заданий различной формы с указанием числа ответов к закрытым заданиям. Общее число заданий в тесте.
5. Число параллельных вариантов в тесте, либо ссылка на кластер, содержащая номера и количество заданий кластера.
6. Вес каждого задания, рекомендуемый разработчиком теста.
7. Рекомендуемое время выполнения теста, в том числе на каждый субтест. Среднее время выполнения задания с учетом специфики формы.
8. Соотношение заданий по различным разделам и видам учебной деятельности.
9. Рекомендации по контингенту для апробации теста.
10. Охват требований стандартов (для аттестационных тестов).
11. Перечень требований, не вошедших в тест (для аттестационных тестов).
12. Стратегия расположения заданий в тесте, рекомендуемая разработчиком.
Предположительно, эта спецификация – набор документов для регистрации теста.
Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины), см. п.8. Пример реализации подобного сопряжения показан в табл.3. Перечень знаний и умений условно включены:
А – знание понятий, определений, терминов;
Б – знание законов и формул;
В – умение применять законы и формулы для решения задач;
Г- умение интерпретировать результаты на графиках и схемах;
Д-умение проводить оценочные суждения.
Содержательные разделы дисциплины условно имеют следующие пропорции: I – 20%; II – 10%; III – 30%; IV – 40%.
Табл.3 – Гипотетическая спецификация теста
№ |
Планируемые к проверке знания и умения |
Содержательные линии (разделы) дисциплины |
Σ-заданий по каждому пункту |
|||
I 20% |
II 10% |
III 30% |
IV 40% |
|||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
1 |
А – 10% |
1 |
1 |
2 |
2 |
6 |
2 |
Б – 20% |
2 |
1 |
4 |
5 |
12 |
3 |
В – 30% |
4 |
2 |
5 |
7 |
18 |
4 |
Г – 30% |
4 |
2 |
5 |
7 |
18 |
5 |
Д – 10% |
1 |
– |
2 |
3 |
6 |
Итого (строка и рассчитывается и заполняется первой |
12 |
6 |
18 |
24 |
60 |
При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе «обкатки» теста первоначальная раскладка может существенно измениться.
Спецификация, предлагаемая сотрудниками ИОСО РАН, основана на процентном соотношении заданий планируемых сообразно разделам дисциплины и видам предполагаемой деятельности испытуемого в процессе выполнения теста.
После отбора содержания теста для разработчика наступает этап создания предтестовых заданий. Грамотно их может сделать опытный преподаватель, -умеющий правильно выбрать форму предтестового задания для проверяемого учебного материала, -имеющий дополнительные знания по теории и методике создания педагогических тестов.
Формы предтестовых заданий
В отечественной и зарубежной научно-педагогической литературе предтестовые задания классифицируют на:
-
задания закрытой формы (с множественным выбором), в которых тестируемый выбирает правильный ответ из данного набора ответов;
-
задания открытой формы (задания на дополнение), требующие от тестируемого самостоятельное получение ответа;
-
задания на установление соответствия (с множественным выбором), выполнение которых связано с выявлением соответствия между элементами двух множеств;
-
задания на установление правильной последовательности, в которых тестируемый должен указать порядок действий или процессов.
Требования к предтестовым заданиям
Аксиома 1. При составлении предтестовых заданий опираются на общепринятые требования:
-
каждое предтестовое задание имеет свой порядковый номер, который может изменяться после объективной оценки трудности задания и выбора стратегии предъявления теста;
-
каждое предтестовое задание имеет эталон правильного ответа;
-
в предтестовом задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;
-
предтестовые задания одной формы сопровождаются стандартной инструкцией, предваряющей формулировку заданий в тесте;
-
для каждого задания разрабатывается правило выставления дихотомической или политомической оценки;
-
предтестовое задание должно быть по форме предъявления и по времени выполнения достаточно кратким.
Аксиома 2. Процесс тестирования стандартизуется, если:
-
ни одному тестируемому не дается никаких преимуществ перед другими;
-
система подсчета баллов ко всем ответам тестируемых без исключения;
-
в тест включаются задания одной формы, либо разных форм с соответствующими весовыми коэффициентами, полученные статистическим путем;
-
тестирование различных групп испытуемых проводится в одинаковое время и сходных условиях;
-
группа тестируемых выровнена по мотивации;
-
все испытуемые отвечают на одни и те же задания.
Задания закрытой формы
Задания закрытой формы имеют недостаток в быстром рассекречивании и плохо удовлетворяют условию (аксиома 2,п.6.). В заданиях закрытой формы имеется основная часть, содержащая постановку проблемы, и готовые ответы, сформулированные разработчиком теста. Обычно правильным ответом бывает только один. Правдоподобные ответы называются дистракторами. Число дистракторов в задании, как правило, не более пяти (редко – 7). Дистрактор, называют неработающим, если ни один из тестируемых его не выбрал. Такой дистрактор убирают. Если разработчику трудно представить дистракторы, то используют два метода их получения:
1. Для получения правдоподобных дистракторов студентам предъявляются незаконченные списки вариантов выбора, с последующим использованием неправильных ответов;
2. Предъявление группе испытуемых заданий в открытой форме и последующим анализом типичных ошибок в дописанных ответах.
Тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из ответов с равной вероятностью.
Если тестирование производится с помощью бланков, то задания закрытой формы с одним правильным ответом сопровождаются инструкцией:
ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА.
При компьютерной выдаче заданий может быть инструкция вида:
НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА
Предтестовые задания в закрытой форме с одним правильным ответом выполняют по следующим правилам:
-
в тексте задания не должно быть двусмысленности и неясности формулировок;
-
основная часть задания формулируется из одного предложения из семи- восьми слов (желательно);
-
задание имеет простую синтаксическую конструкцию, одним придаточным предложением (желательно);
-
основная часть должна содержать как можно больше слов, оставляя для ответа не более 2-3 ключевых слов для данной проблемы;
-
ответы к одному заданию должны быть одной длины, либо правильный ответ может быть короче других в пределах задания;
-
исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;
-
частота выбора одного и того же номера для правильного ответа в различных заданиях текста должна быть одинакова, либо этот номер может быть случайным;
-
основная часть задания освобождается от всякого иррелевантного материала;
-
основная часть формулируется в форме утверждения, которая обращается в истинное или ложное высказывание после подстановки одного из вариантов ответа;
-
из числа тестовых исключаются задания, содержащие оценочные суждения и мнения студента по какому-либо вопросу.
-
при формулировке дистракторов не рекомендуется использовать выражения: «ни один из перечисленных», «все перечисленные» и т.д., способствующие угадыванию;
-
дистракторы должны быть равно привлекательными для испытуемых, не знающих правильного ответа;
-
ни один из дистракторов не может быть частично правильным ответом, превращающихся при определенных дополнительных условиях в правильны ответ;
-
из ответов исключаются все повторяющиеся слова путем ввода их в основной текст задания;
-
в ответах не рекомендуется использовать такие слова, как «все», «ни одного», «никогда», «всегда» и т.п., способствующие угадыванию;
-
из числа неправильных исключаются ответы, вытекающие один из другого;
-
ответ одного задания не должен служить ключом к правильным ответам другого задания, т.е. нельзя использовать дистракторы из одного задания в качестве правильных ответов другого;
-
все ответы должны быть параллельными по конструкции и грамматически согласованы с основной частью задания теста;
-
если в задании имеются альтернативные ответы, то не следует их ставить рядом с правильным, ибо на них будет сразу сосредоточено внимание.
Создать тест, удовлетворяющий всем этим правилам невозможно. Но принято считать, что если тест удовлетворяет 9-10 рекомендациям, то он – рабочий.
Задания открытой формы (задания на дополнение)
В заданиях на дополнение готовые ответы не даются. Их должен получить тестируемый. Эти задания встречаются двух видов:
1. С ограничениями, налагаемыми на ответы, возможности получения которых соответствующим образом определены по содержанию и по форме представления;
2. Со свободно конструируемыми ответами, в которых испытуемые должны составить развернутый ответ в виде решения задачи или эссе.
Задания второго вида не имеют никаких ограничений на содержание и форму представления ответов. Эти задания близки к традиционным контрольным заданиям, и поэтому положительно воспринимаются большинством преподавателей. Но они требуют больших затрат на проверку и сложнее поддаются компьютеризации.
При ответе на открытое задание с ограниченным ответом испытуемый дописывает пропущенное слово, формулу, символ или число на месте прочерка. Разработка заданий на дополнение с ограниченным ответом подчиняются следующим правилам:
1. каждое задание должно быть нацелено только на одно дополнение, место которого обозначено точками или прочерком;
2. Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;
3. Все прочерки в открытых заданиях рекомендуется делать одинаковой длины;
4. Дополнения ставятся в конце задания или как можно ближе к концу;
5. После прочерка, при необходимости, указываются единицы измерения;
6. Текст задания должен иметь простую синтаксическую конструкцию и содержать минимальное количество информации, необходимое для правильного выполнения задания;
7. В тексте исключаются повторы и двойное отрицание.
Задания на установление соответствия
В заданиях на установление соответствия тестируемый должен показать знание связей между элементами двух множеств. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, а справа – элементы, подлежащие выбору. Возможно иное расположение. К заданиям прилагается стандартная инструкция состоящая из двух слов:
УСТАНОВИТЕ СООТВЕТСТВИЕ
При разработке заданий на соответствие руководствуются следующими правилами:
1. Содержание задания желательно выразить в виде двух множеств с соответствующими названиями;
2. Элементы задающего столбца располагаются слева, а элементы выбора – справа;
3. Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;
4. Необходимо, чтобы правый столбец содержал несколько дистракторов (лучше, когда их в 2 раза больше);
5. Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;
6. Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста;
7. В дополнительной инструкции к заданию необходимо сообщить испытуемому о наличии дистракторов в правом столбце, и сколько раз используется каждый элемент правого столбца (один или более);
8. задание располагается на одной странице, без переноса его элементов на другую.
Основная трудность в разработке такого вида тестов связана с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого избыточного элемента устанавливается эмпирически.
Задания на установление правильной последовательности
Задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п., которые приводятся в случайном порядке. Испытуемый должен установить правильный порядок действий, процессов и указать его с помощью цифр (алгоритм сортировки). Инструкция к заданиям имеет вид:
УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ
Эти задания специфичны. Содержание многих дисциплин сложно трансформировать в задания этой формы.
Сравнительная характеристика форм предтестовых заданий.
Выбор форм предтестовых заданий определяется спецификой содержания учебной дисциплины, целями создания и применения теста.
Легко организовать компьютерный сбор и анализ результатов теста в том случае, когда все задания имеют закрытую форму. Результаты выполнения заданий на дополнение с ограниченным, а тем более с открытым ответом требуют ручной обработки. Потребуется и привлечение экспертов.
В каждом тесте можно использовать несколько форм, но желательно, чтобы их было в одном тесте как можно меньше. Этим отличаются профессиональные тесты. Требование единства формы очень важно при создании итоговых тестов. С другой стороны, требование моноформости не всегда выполнимо, поэтому часто приходится идти на совмещение форм, что негативно отражается на точности измерений.
Для облегчения проблемы выбора результаты сопоставительного анализа двух первых форм сведены в табл. 4.
Табл. 4.- Сопоставительный анализ предтестовых заданий
Технологические характеристики форм |
задания закрытой формы |
задания открытой формы |
|
с ограничением ответа |
со свободным ответом |
||
Проверка знаний фактологического материала |
годны |
годны |
мало пригодны |
Проверка умений применения знаний по образцу (репродуктивный уровень) |
годны |
годны |
годны |
Проверка умений применения знаний в незнакомой ситуации (продуктивный уровень) |
годны |
годны |
годны |
Простота в конструировании |
нет |
есть |
есть |
Исключение эффекта угадывания |
нет |
есть |
есть |
Объективность в оценке результата выполнения |
есть |
есть/нет зависит от качества задания |
нет оценка субъективна |
Исключение фактора ошибок испытуемых при написании ответов |
есть |
нет |
нет на оценку влияет фактор самовыражения |
Возможность оригинального ответа |
нет |
нет |
есть |
Пример тестового задания четвертой формы
УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ
Для создания системы тестового контроля в учебном заведении по месту работы необходимо:
создать банк тестовых заданий
разработать программно-инструментальные средства
провести с преподавателями своего учебного заведения занятия по методике конструирования тестов
выдать тесты учащимся для сбора эмпирических данных
доложить руководству о результатах обучения
сформировать коллектив преподавателей – разработчиков тестов
приступить к созданию тестов
интерпретировать результаты обработки
внимательно разобрать и осмыслить содержание прослушанных лекций по методике конструирования тестов.
ЛИТЕРАТУРА:
-
Аванесов B.C. Научные проблемы тестового контроля знаний. Учебное пособие. М., 1994. – 135 с.
-
Гуревич К.М. Методы тестирования в дидактических исследованиях. Методы педагогических исследований. М., 1979. С. 139 – 158.
-
Бернштейн М.С. К методике составления и проверки тестов. Вопросы психологии. 1968. N 1. С. 51-66.
-
Аванесов B.C. Основы научной организации педагогического контроля в высшей школе: Учебное пособие для слушателей Учебного центра. М., 1989. ≈ 107 с.
-
Психологическая диагностика: Учебное пособие. Научно-издательский центр Бийского пединститута, 1993. ≈ 324 с.
-
Энциклопедический словарь. Гл. ред. A.M. Прохоров. 3-е изд. М.: Советская энциклопедия, 1985. ≈ 1600 с.: ил.
-
Сосновский В.И., Тесленко В.И. Вопросы управления в обучении. Часть 1. (Педагогическое тестирование). Красноярск, 1995. ≈ 90 с.
-
Моделирование педагогических ситуаций: Проблемы повышения качества и эффективности общепедагогической подготовки учителя. Под ред. Ю.Н. Кулюткина, Г.С. Сухобской. М.: Педагогика, 1981. ≈ 120 с.: ил.
-
Майоров А.Н. Теория и практика создания тестов для системы образования. – М., “Интеллект центр”, 2001. – 296 с.
-
Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.
27
эксперт образовательного центра “Каменный город”.
Тесты давно стали неотъемлемой частью рабочих будней любого педагога. Раньше приходилось печатать их на бумаге, собирать листочки или тетради у каждого ученика, вручную проверять и анализировать результаты, гадать с ответами из-за почерков…
Сейчас в нашем распоряжении онлайн-сервисы на любой вкус, которые серьезно экономят время и ресурсы. Мы получаем новые возможности: дистанционный сбор ответов, автоматическую оценку результатов, мгновенное редактирование материалов.
Мы выбрали несколько сервисов с большим набором функций для создания и проведения самых разных тестов, викторин и опросов. Некоторые из них полностью бесплатные, у некоторых есть пробные бесплатные версии. Тестируйте и выбирайте то, что подходит вашим учебным задачам.
Madtest
Конструктор для создания квиз-тестов и опросов. Можно создавать тесты как на сайте Meduza.io, больше подойдет для тестирования взрослой аудитории, для медиа и тех, кто размещает тесты и опросы у себя на сайте.
Цена: бесплатный тариф с ограничениями, платный тариф от 1990 рублей в месяц.
Возможности:
- Несколько форматов — тест-викторина и личностный тест.
- Удобный и понятный редактор.
- Персонализированные результаты.
- Большой выбор СТА-действий на странице результатов — кнопки, ссылки на мессенджеры, подборки карточек, подборки товаров.
- Возможность брендирования тестов.
- Разные типы ответов.
- Комментарии к ответам.
- Много аналитики, которую автоматически собирает сервис.
- Созданные тесты можно проходить как по прямой ссылке, так и размещать на вашем сайте или блоге.
На заметку:
Сервис полностью на русском языке, но сами тесты можно делать как на русском, так и на украинском, белорусском, казахском и английском языках.
В бесплатной версии доступно создание не больше 3 квиз-тестов в месяц, не больше 8 вопросов, а так же закрыт доступ к расширенной статистике по прохождениям. Количество прохождений тестов не ограничено, но вы сможете идентифицировать не больше 10 заявок в месяц.
Обзор сервиса Madtest
Каhoot
Цена: 7 дней бесплатно, далее подписка на год – 2 390₽
Возможности:
- Использовать уже готовые викторины по любой теме (предмету) для разных возрастов.
- Создавать и редактировать опросы в короткий промежуток времени в своем аккаунте.
- Комбинировать разные виды вопросов (головоломки, тест с несколькими верными ответами, открытые вопросы, определение последовательности и др.)
- Проводить тесты дистанционно или в классе в режиме «здесь и сейчас», когда дети видят вопрос на экране и сразу же отвечают на него с помощью телефона или компьютера. Преподаватель отправляет каждому ученику индивидуальный код, по которому он входит в виртуальную классную комнату. Удобная функция, потому что не желающие расставаться с телефоном дети включаются в процесс обучения с интересом и совмещают приятное с полезным.
- На сайте есть режим бонусов за быстрые ответы. Соревновательный режим подстегивает интерес учащихся.
- Получать результаты в виде отчета с диаграммами. Можно просматривать индивидуальные успехи каждого ученика и общую успеваемость класса. Сами дети тоже могут следить за своей успеваемостью по специальной таблице. А педагог освобождает свое время благодаря автоматическому подведению итогов.
На заметку:
Приложение полностью на английском языке. Тем, кто владеет языком на начальном уровне, понадобится время, чтобы разобраться с интерфейсом. Тесты и опросы можно создавать на русском языке.
В бесплатной версии для создания тестов доступны только два типа вопросов: с одним верным ответом из четырех и формата «правда/ложь». При покупке расширенной версии вам открываются все типы вопросов и библиотека с миллионами изображений, которые можно добавлять в тесты, чтобы сделать их увлекательными и наглядными.
Socrative
Цена: бесплатно, есть Pro версия за 60$ (при покупке 5 и более учителей одной школы скидки)
Возможности:
- Педагоги могут инициировать формирующие оценки с помощью викторин, быстрых опросов, выходных билетов и космических игр на время, вызывающих интерес и азарт к учебе. Всё это доступно в полном объеме в бесплатной версии.
- Для входа в систему не обязательно создавать новый аккаунт, можно использовать адрес электронной почты домена Google.
- Результаты обрабатываются и визуально отображаются в режиме реального времени, чтобы экономить силы и время педагога и помочь ему определить возможности для дальнейшего обучения.
- Учащиеся могут подключиться к уникальной комнате педагога, открыв через любое устройство приложение или сайт socrative.com
- Тесты и отчеты с результатами к ним можно скачать, отправить по электронной почте или на Google Диск.
На заметку:
Сайт и приложение – на английском языке и полностью идентичны друг другу, легко осваиваются без знания языка. Работают только при наличии интернета.
Learningapps
Цена: бесплатно
Возможности:
- Сайт предлагает 18 обычных и оригинальных заданий, в том числе кроссворды, викторины, пазлы, игра «Кто хочет стать миллионером?», определение хронологии, аудио/видео контент, слова из букв и др.
- Почти в каждом типе заданий в настройках выбирается нужный формат – звуковой, графический, текстовый или комбинированный. Можно загружать свои изображения, аудио- и видеоматериалы.
- Огромный выбор уже готовых тестов по категориям предметов: все школьные дисциплины, иностранные языке, искусство, здоровье, религиоведение, философия, психология, труды и др.
- Есть возможность выбрать уровень сложности заданий – от дошкольного до последипломного образования.
- Педагог при разработке заданий может оставлять подсказки и комментарии по выполнению упражнений. А еще регулировать доступ для конкретных пользователей.
- Ссылки на упражнения можно отправлять в виде уникального QR-кода, который система присваивает каждому заданию.
На заметку:
В интерфейсе сайта 23 языка. Регистрацию проходит и учитель, и все учащиеся. Это нужно для формирования класса и отправки заданий.
Quizizz
Цена: бесплатно
Возможности:
- Викторины создаются и размещаются только на сайте Quizizz при регистрации аккаунта, при этом доступ к ним открыт и на самом сайте и в приложении.
- Ученики могут проходить тесты индивидуально, приглашать в игру друзей и участвовать в групповых викторинах и заданиях прямо на уроке. Каждый видит на своем устройстве вопрос и варианты ответа. Отмазка «мне ничего не видно с последней парты» больше не работает.
- Сайт открывает массу дополнительных возможностей: создавать интерактивные презентации, выбирать викторины других пользователей и редактировать их по своему усмотрению, настраивать систему мотивации, отключать или включать музыкальное сопровождение.
- Учащиеся и коллеги могут писать комментарии по презентациям и тестам, что позволяет быстро собирать обратную связь и редактировать материал при необходимости.
Учащиеся автоматически получают уведомление каждый раз, когда вы назначаете им тест, больше не нужно отправлять игровые коды.
На заметку:
В настройках приложения меняется язык, есть русский. Приятная графика и звуковые дорожки создают настроение, но не отвлекают. Сайт на английском, простой и понятный в использовании даже, если вы не знаете языка. В приложении и на сайте уже есть готовые викторины по самым разным темам: математика, языки, науки, история, география, искусство и др.
Quizlet
Цена: 7 дней бесплатно, подписка на год – 3 550₽
Возможности:
- Все функции для создания флеш-карточек становятся доступны сразу после регистрации (не обязательно оформлять платную подписку).
- Для каждой темы можно формировать модуль карточек из 5 блоков: пояснение терминов, их заучивание, прописывание ответов, сопоставление изображений или фактов и проверочный тест. Таким образом ученики осваивают материал всеми способами: визуально, тактильно и аудиально (в приложении можно слушать правильное произношение на 18 языках мира).
- Платная подписка открывает доступ к сканированию документов, загрузке собственных картинок, самостоятельному озвучиванию карточек и неограниченному количеству учебных групп.
- Тестами легко делиться с учениками сразу после их создания. А еще дети могут участвовать в играх группами по 6 человек и ставить собственные рекорды.
- Есть доступ к уже готовым тестам, разработанным другими пользователями.
- Приложение автоматически анализирует прогресс учеников и составляет отчет для педагога.
На заметку:
Приложение на русском языке. Доступно даже в оффлайн. Подходит для запоминания новых терминов и их определений любой дисциплины, но особенно эффективен «способ карточек» для изучения иностранных языков.
!! Будьте внимательны, если не планируете продлить подписку. Деньги снимаются автоматически, если вы не отписались за сутки до окончания ее действия.
Online Test Pad
Это система для создания тестов, опросников, кроссвордов, логических игр и комплексных заданий.
Цена: бесплатный
Возможности:
- Этот онлайн-сервис позволяет создавать разнообразные образовательные тесты. И не
только:) - Учащиеся могут проходить тесты без регистрации в сервисе.
- Тесты можно встроить на сайт или в блог.
- Доступна разнообразная статистика по прохождению тестов.
- Доступно множество настроек.
- Понятный русифицированный интерфейс.
- Есть возможность создавать тесты с ветвлением, добавлять обратную связь.
Минусы:
- Так как этот сервис пользуется популярностью, он периодически “падает”.
- Устаревший дизайн тестов.
- Нет возможностей геймификации.
На заметку: больше подходит для тестирования взрослой аудитории и старших школьников.
Вебинар по созданию тестов + обзор сервисов и работа Online Test Pad. Смотрите запись здесь.
Создание тестов в Google Forms
Возможности сервиса:
- Бесплатный.
- Русифицированный.
- Позволяет создавать тесты с разнообразными тестовыми заданиями.
- Интегрирован с другими сервисами Google, в том числе успешно можно
использовать с Google Classroom. - Есть возможность отслеживать статистику.
- Есть функция “ветвление”.
На наш взгляд: больше подходит для тестирования взрослой аудитории и старших
школьников.
Наш совет: используйте расширения, чтобы улучшить функционал тестов Google. Например: Flubaroo.
Экспресс-инструкция:
Статьи по теме
- Еще раз про Learningapps: создаем интерактивные упражнения
- Лучшие онлайн-сервисы для создания обучающих игр и игровых упражнений
- Как за 5 минут создать онлайн-тест для слушателей
- Делаем словарные карточки самостоятельно: как, где, зачем?