5 советов для тех, кто хочет составлять качественные вопросы для тестов
Тесты в дистанционных курсах необходимы для того, чтобы понять, насколько учащиеся усвоили (и поняли) материал курса. При этом только правильные вопросы помогут составить полноценную картину успеваемости ваших студентов.
Представляю вашему вниманию 5 советов по составлению хороших опросников.
Совет 1. Вопросы должны соответствовать целям курса.
Тесты в курсах — неотъемлемая часть учебных материалов: они мотивируют к чтению текста, просмотру видео, изображений и инфографики, не дают пролистывать материалы, не изучая их.
Поэтому все вопросы и задания должны касаться, конечно же, только изучаемого материала, не должно быть никаких внезапных вопросов, которые не были освещены в курсе. Пользователь не должен чувствовать себя дураком.
Совет 2. Используйте вопросы разных типов.
Есть множество видов вопросов, которые вы можете применять в ваших курсах: от обычных с единственным верным вариантом ответов до открытых вопросов, drag’n’drop и прочих. Каждый тип имеет своё дидактическое назначение. Не зацикливайтесь на излюбленных стандартных вопросах с одним правильным вариантом. Пробуйте разные типы.
Совет 3. Вопрос должен быть понятным и однозначным.
Неправильно понятый и неверно интерпретированный вопрос вряд ли вызовет положительные эмоции и желание продолжить прохождение курса. Вопрос должен быть коротким, в идеале не более одного предложения. Используйте стандартные формулировки и вопросительные слова: кто, что, где, когда, почему и как. И обязательно избегайте жаргона и прочего искажения языка.
Сравните 2 вопроса:
Вопрос #1: Какие действия должен предпринять специалист по потребительскому кредитованию при заполнении заявки на получение потребительского кредита, если он запрашивает информацию о стаже работы заёмщика и узнаёт, что стаж работы опрашиваемого заёмщика составляет более пяти лет?
Вопрос #2: Каковы действия специалиста по потребительскому кредитованию при заполнении заявки на кредит, если стаж работы заёмщика более пяти лет?
При идентичном содержании второй пример почти в 2 раза короче. Сложные вопросы по мнению некоторых заказчиков курсов лучше, т.к. они «заставляют сосредоточиться и внимательно вчитываться». Скорее они вызывают раздражение и желание никогда больше к курсу не возвращаться.
Совет 4. Будьте внимательны к ответам.
Я не понаслышке знаю, как сложно придумывать неправильные ответы. Как только вы сочинили вопрос, написали к нему правильный ответ, начинаются мучения… Ответы получаются или глупые, или простые и очевидные, или правильные.
Постарайтесь поглядеть на вопрос со стороны. Зачастую те неверные ответы, которые кажутся вам глупыми или очевидными, не так уж и очевидны для учащихся. Они же только входят в тему.
Старайтесь избегать частично правильных ответов и очень похожих ответов, отличающихся одной буквой или хитрой частицей «не». Это тоже вызывает только раздражение, ведь получается, что вы тренируете не знания, а внимательность. Лучше 3 хороших варианта ответа, чем 5 каких попало.
Не гнушайтесь инструкциями к вопросам тестов: сколько правильных вариантов ответа: один или несколько? Сколько попыток? Есть ли ограничения по времени? Пусть лучше ваша инструкция будет чрезмерно подробности, но по крайней мере пользователь будет знать, что делать.
Совет 5. Добавьте обратную связь.
Обратная связь — это реакция на выбранный пользователем ответ. Это весьма мощный и полезный инструмент, который позволяет заполнить пробел у учащегося, если он что-то пропустил и теперь отвечает неправильно. Чтобы обратная связь была максимально эффективной, делайте её развёрнутой, а не просто давайте комментарий «правильно» или «неправильно». При этом обратная связь должна быть короткой, конструктивной и ёмкой, иначе её просто не будут читать.
Используя перечисленные выше советы, вы сможете составлять хорошие тесты, которые помогут учащимся учиться с удовольствием и получать качественные знания.
Хотите поделиться опытом разработки тестов или задать вопрос? Милости прошу в комментарии!
«Лайфхакер» рассказывает, как узнать максимум о соискателе и не тратить ничьё время.
Тестовое задание полезно для обеих сторон: и для работодателя, и для соискателя. Наниматель с его помощью может проверить квалификацию, внимательность и дисциплинированность потенциального сотрудника, оценить, хорошо ли тот понимает, какие задачи перед ним ставятся.
Даже если у соискателя есть портфолио, оно не всегда показательно. Во-первых, там собраны лучшие работы. И нельзя прогнозировать, как часто кандидат выдаёт именно такой результат. Во-вторых, в портфолио зачастую попадают итоги коллективной деятельности. Не факт, что соискатель играл в ней важную роль.
Кандидат тоже может сделать по тестовому заданию свои выводы, причём даже не выполняя его. Можно сразу понять, чем предстоит заниматься и будет ли это интересно. А ещё — подходит ли работа. Если уже «пробник» кажется слишком сложным, то в будущем станет только труднее. И вероятно, нужно ещё немного подрасти как специалисту, прежде чем ввязываться в нечто подобное.
Но вся эта польза возможна, только если работодатель составил задание грамотно. Есть несколько правил, которым стоит следовать, чтобы тест прошёл эффективно.
1. Определите ключевые навыки для проверки
Прежде чем составлять задание, решите, какие умения ищете. Впрочем, это вы должны были сделать, ещё когда размещали объявление о вакансии. Потому что за одним и тем же названием должности могут скрываться абсолютно разные специалисты.
Например, вам нужен редактор. Большинство людей примерно представляет, чем он занимается. Но если копнуть глубже, выяснится, что в зависимости от компании специалист может:
- готовить к публикации тексты других авторов, отвечать за раскрытие темы, стилистику, выразительность речи;
- совмещать эту работу с корректорской правкой;
- самостоятельно писать тексты под ключ;
- придумывать темы для авторов, давать им задания, следить за сеткой публикаций.
В трудовой книжке у всех этих людей может быть написано «редактор». Но их навыки хоть и пересекаются, но не дублируют друг друга. Человек, который хорошо пишет, не обязательно чудесно работает с чужими статьями. И наоборот: профи, который любой текст превращает в конфету, не всегда может написать что-то блестящее с нуля.
Поэтому необходимо сформулировать, чего вы хотите от нового сотрудника. А потом уже составлять задания, чтобы протестировать конкретно эти умения.
2. Решите, когда будете предлагать тестовое
Компании выдают тестовое задание в разное время. Кто-то публикует его прямо в объявлении о вакансии и просит прислать выполненное вместе с резюме. Кто-то предлагает его после первой встречи. Иногда это способ принять решение на финальном этапе после серии собеседований, когда остаётся всего несколько соискателей. Нельзя однозначно сказать, что так делать правильно, а так никогда не нужно. Просто есть нюансы.
Тестовое задание в описании вакансии может отпугнуть. Человек ещё даже резюме не отослал, а его уже заставляют что-то делать. Но если компания получает вал откликов на любую позицию, это может стать своеобразным фильтром. Кандидаты с низкой мотивацией и те, кто отправляет резюме на всякий случай, пройдут мимо.
Чтобы то же не сделали подходящие специалисты, важно, чтобы тестовое не вызывало подозрений, что вы просто хотите заставить кандидатов бесплатно поработать. Как внушить доверие, обсудим дальше.
Если предлагать тестовое на следующих этапах, его уже можно сделать чуть больше и сложнее. Кандидат понимает, что вы действительно ищете сотрудника, потратили на него время, он вас заинтересовал. Скорее всего, он мотивированнее и готов уделить заданию больше внимания.
3. Попросите кандидата рассказать о себе
Если вы сначала проводите собеседование, то по его результатам можете оценить общую адекватность кандидата: как он презентует себя, как общается, что говорит о бывшем работодателе и коллегах. Если собеседования ещё не было, такой роскоши вы лишены. Так что одним из пунктов тестового задания стоит сделать рассказ о себе.
Такая самопрезентация, конечно, не раскроет все качества человека. Но если он вам категорически не подходит, вы это, скорее всего, поймёте. Например, если вы просите рассказать о профессиональных достижениях, а кандидат пишет, как в третьем классе выиграл школьную олимпиаду, это намекает, что вам не по пути.
4. Предложите решить реальную задачу
Чтобы проверить кандидата, дайте ему задачи, с которыми он будет ежедневно сталкиваться на работе. Если ищете дизайнера, предоставьте техзадание на изображение. Если SMM-специалиста, предложите написать пост с картинкой для разных площадок и сделать мем. Так и вам будет всё намного понятнее, и кандидату.
5. Вызовите доверие
Нередко соискатели отказываются делать задание, если подозревают, что работодатель хочет их обмануть. Присвоить результат работы и отказать в трудоустройстве. Причём, если вы предлагаете реальную задачу, это может вызвать ещё больше недоверия.
Поэтому тестовое нужно составить и рассылать так, чтобы подобных сомнений не было.
Проще всего дать всем одно и то же задание. Мошенничество теряет смысл, если от кандидатов получаешь варианты выполнения одной задачи. Но реализовать это просто, только если вы предлагаете тестовое в описании вакансии. Если присылаете его позднее, доказать, что оно одинаковое для всех, будет сложно.
Поэтому лучше сформулировать задачу так, чтобы было очевидно, что результат вы не сможете использовать:
- Не предлагайте сделать законченный продукт. Например, попросите написать не статью целиком, а её план и один блок текста по этому плану.
- Не давайте слишком объёмное задание. Чтобы проверить, как мыслит соискатель, не обязательно просить его, например, перевести целый раздел книги, достаточно крохотного фрагмента.
6. Используйте вопросы-ситуации
Не у каждого специалиста конечный продукт работы — нечто, что можно посмотреть или пощупать. В этом случае на помощь придут вопросы-ситуации: вы описываете кейс и предлагаете соискателю рассказать, как он поступит в этом случае. Например, у дизайнера можно спросить, что он будет делать, если клиент раз за разом присылает странные правки, которые противоречат друг другу, и жалуется на «недостаточно продающий зелёный».
Подготовка хорошего тестового с вопросами-ситуациями потребует времени. Так же, как и его выполнение, так что всё честно.
7. Протестируйте софт-скилы
Прокачанных профильных умений недостаточно, чтобы быть хорошим сотрудником. Важны и гибкие навыки: контактность, дисциплинированность, готовность брать на себя ответственность и многое другое. И это надо учитывать при составлении тестового задания.
Например, соискателю предстоит руководить командой. Допустим, речь о тимлиде, у которого в подчинении будут несколько разработчиков. Можно дать кандидату самостоятельно написать кусок кода или попросить доработать уже имеющийся. Результаты, конечно, будут показательными.
Но можно и отметить, что нужно не переписывать код, а оставить свои замечания и предложения, чтобы разработчик сам всё исправил. И здесь уже станет очевидно, хорошо ли тимлид будет взаимодействовать с командой: насколько понятно он пишет комментарии? тактично ли? по делу или просто пытается показать, что работал?
Не стоит недооценивать софт-скилы. Возможно, хороший человек не профессия. Но если профессионал нехороший человек, работать с ним будет тяжело.
Ещё один важный момент — соответствие кандидата ценностям компании. Например, если HR-специалист подбирает сотрудников по знакам зодиака, в компании, которая ценит науку, к нему будут вопросы. О подобных вещах можно спрашивать в лоб, а можно учесть это в тестовых заданиях. Скажем, дать эйчару несколько резюме и попросить поделиться мыслями по каждому из соискателей. Если кто-то не подходит, потому что он Козерог, лучше выяснить это раньше.
Тестовое, помимо прочего, должно отражать дух команды. Я стараюсь придумывать весёлые задания без привязки к конкретному проекту, чтобы у кандидата не появилась крамольная мысль, что мы его руками стараемся закрыть какую-то рабочую задачу.
Например, кандидатам на должность продуктового дизайнера в «Лайфхакере» я предложил представить, что мы выпускаем приложение для знакомств. Для него нужно было придумать название и концепцию. А ещё провести исследование, какие дейтинговые приложения есть на рынке, чтобы получился уникальный продукт. Результатом должны были стать 3–4 экрана мобильного приложения и один экран веб-интерфейса. Всё это нужно было оформить в презентацию с описанием.
Сразу понятно, что это нереальный проект и что тут можно покуражиться. Кандидату интересно на эту тему подумать.
Александр Сомов, Арт-директор «Лайфхакера»
8. Убедитесь, что задание составлено корректно
Качество выполненного тестового не всегда зависит от навыков кандидата. Бывает, из задания не очень понятно, что вообще нужно сделать. Поэтому важно выбирать предельно конкретные формулировки. И при вероятности интерпретаций уточнять, что вы хотите получить.
Например, вы просите редактора улучшить статью. Он может пойти двумя путями: переписать её или оставить комментарии, по которым можно будет доработать текст. Если в вашем издании первое не принято, лучше уточнить в описании тестового, что кандидату нужно продемонстрировать именно работу с автором.
Также стоит проследить, чтобы у человека были все данные и условия, которые необходимы для решения задачи. Например, вы составляете задание для проджект-менеджера. Можно попросить его написать, что он будет делать, если главный разработчик проекта заявит, что собирается уволиться. Но ответ будет достаточно общим, ведь сложно придумать мотивацию для гипотетического человека, о котором ничего не известно. На собеседовании человек мог бы задавать уточняющие вопросы в режиме реального времени и корректировать свой ответ. Но для тестового задания неплохо бы добавить подробностей: кто этот разработчик, почему он хочет уволиться, на какой стадии проект и так далее.
9. Не переборщите с объёмом тестового задания
Мы уже говорили об этом. Каким бы мощным ни был ваш HR-бренд и какой бы прекрасной ни была репутация, наивно полагать, что люди будут готовы на что угодно, чтобы получить у вас работу. Если для выполнения тестового требуется несколько рабочих дней, сделают его единицы. А многие из талантливых и востребованных кандидатов (именно таких, каким вы будете рады) просто пройдут мимо, ведь им наверняка есть чем заняться. Причём за деньги. Исключение — если вы готовы оплачивать тестовое задание.
Выполнение бесплатного тестового должно занимать в среднем несколько часов, то есть время, о котором не будешь жалеть, если не подойдёшь для этой работы. Задание, которое вы даёте после собеседования, может быть больше, но меру тоже надо знать. Для хороших специалистов время действительно деньги.
Зная меру, вы поможете и себе. Тестовые задания придётся проверять, и на это тоже требуется время. Причём чем выше уровень кандидатов, тем больше. Откровенно слабые работы видно с первого взгляда. Когда на вакансию откликаются профессионалы, придётся вчитываться и вдумываться.
10. Опробуйте задание на действующих сотрудниках
Попросите коллег прочитать и выполнить задание. Так вы, с одной стороны, проверите, насколько оно понятно и хорошо составлено. С другой — сможете оценить, насколько оно выполнимо и как много времени на него уходит.
Конечно, стоит делать поправку на то, что действующие сотрудники хорошо знают, чего вы от них ждёте. Они справятся с заданием намного быстрее, чем соискатели. У тех много времени может уйти на сомнения и обдумывание, этого ли вы хотите. Но некий ориентир вы получите.
11. Определитесь с критериями оценки
Чтобы проверять было проще, а впечатление от работ меньше зависело от вашего настроения и других субъективных факторов, стоит решить, на что именно вы станете обращать внимание и как это оценивать. Сделайте таблицу, где будете оставлять комментарии для конкретной работы по каждому критерию.
При таком подходе будет проще принять решение. Чтобы освежить впечатления, не нужно пересматривать задание — достаточно заглянуть в таблицу. А если сильных работ много, можно сравнить их между собой по приоритетным для вас критериям и определиться с наиболее подходящим кандидатом.
Критерии также будут полезны, если кандидат попросит рассказать, как вы оценили работу и почему не стали с ним сотрудничать.
Когда мы искали нового ведущего в команду подкастов, оценивали три вещи: насколько приятный и поставленный у кандидата голос, есть ли харизма и умеет ли человек работать с текстом. Всех, кто прошёл первичный отсев, я показывала нашему редактору: очень полезно сверить свои впечатления с чужими. Если случался мэтч, мы приглашали кандидата на стажировку.
Оксана Запевалова, Главный редактор «Лайфхакера»
12. Пропишите организационные моменты
Если есть возможность, укажите сроки, в которые авторы должны прислать работы, дедлайн для проверки тестовых заданий и обратной связи с соискателями. Если даёте ссылку на тестовое в описании вакансии и ждёте вала откликов, это позволит потом не отвечать каждому. Приписка «если ваше резюме заинтересует, мы свяжемся с вами до этого дня» тоже имеет право на жизнь.
Если даёте тестовое после собеседований, нужно назвать (и продублировать потом в сообщении) дату, до которой дадите обратную связь. И эту обратную связь обязательно дать. Соискатель потратил на встречу и выполнение тестового много времени. Справедливо будет выделить полчаса, чтобы составить ответ.
Также полезно будет указать, оплачивается ли тестовая работа. В некоторых случаях можно предложить плату и использовать результаты на своё усмотрение. Этот вариант подходит, если вы предлагаете задачи уже после знакомства и человек вас заинтересовал. Вы уже понимаете, что он кое-что может, и вряд ли получите откровенную ерунду, которую невозможно доработать.
Что запомнить
- Тестовое задание полезно и для нанимателя, и для соискателя. Первому оно помогает оценить потенциальных сотрудников, второму — свою готовность идти дальше и соответствие позиции.
- Задачи в тестовом должны быть максимально близки к тому, что соискателю предстоит делать. Можно предлагать и создать какой-то продукт, и разобраться с вопросами-ситуациями.
- Хорошее бесплатное тестовое — то, результаты которого невозможно присвоить и использовать. Это не даст отсеянным кандидатам возможности обвинять вас в мошенничестве и несправедливости. Точнее, обвинять они могут сколько угодно, но всем всё будет понятно. Оплачиваемое тестовое может быть полноценной рабочей задачей.
- Тестируйте не только профильные навыки, но и софт-скилы. Даже если человек будет трудиться удалённо и автономно, всё равно с ним придётся контактировать. И хорошо, если эти коммуникации будут приятными.
- Время потребуется не только соискателю на выполнение задания. Составление и проверка задач — это тоже процесс небыстрый. Так что в общих интересах, чтобы тестовое было вменяемых размеров.
- Компания с именем и хорошей репутацией может позволить себе дать даже сложное тестовое. Желающие его сделать всё равно найдутся. Так что, если хотите заполучить классных специалистов, прокачивайте HR-бренд.
Слово «тест» английского происхождения и на языке оригинала означает «испытание», «проверка». Тест обученности — это совокупность заданий, сориентированных на определение (измерение) уровня (степени) усвоения определенных аспектов (частей) содержания обучения.
Правильно составленные тесты обученности должны удовлетворять ряду требований. Они должны быть:
относительно краткосрочными, т. е. не требовать больших затрат времени;
однозначными, т. е. не допускать произвольного толкования тестового задания;
правильными, т. е. исключать возможность формулирования многозначных ответов;
относительно краткими, требующими сжатых ответов;
информационными, т. е. такими, которые обеспечивают возможность соотнесения количественной оценки за выполнение теста с порядковой или даже интервальной шкалой измерений;
удобными, т. е. пригодными для быстрой математической обработки результатов;
стандартными, т. е. пригодными для широкого практического использования — измерения уровня обученности возможно более широких контингентов обучаемых, овладевающих одинаковым объемом знаний на одном и том же уровне обучения.
При разработке тестов важно, насколько они соответствуют запроектированным целям обучения, образования, развития обучаемых. Важнейшими критериями диагностических тестов обученности являются действенность (валидность, показательность), надежность (вероятность, правильность), дифференцированность (различимость).
Термин «действенность» имеет, как минимум, два синонима — валидность (от англ. valid — имеющий значение, ценный) и показательность, представительность, трактуемые так же, как репрезентативность. Всегда имеется в виду, что составитель теста обязан тщательно изучить все разделы учебной программы, учебные книги, хорошо знать цель и конкретные задачи обучения. Лишь тогда он сможет составить тесты, которые будут действенными для определенной категории обучаемых.
Четкая и ясная постановка вопроса в пределах освоенных знаний — неотъемлемое условие действенности теста. Если тест выходит за пределы освоенного содержания или же не достигает этих пределов, то он не будет действенным для тех обучаемых, которым он адресован. Величина 0,7—0,9 свидетельствует о высокой действенности тестов обученности. Если же коэффициент корреляции не достигает 0,45—0,55, то действенность теста считается неудовлетворительной.
Степень надежности характеризуется стабильностью, устойчивостью показателей при повторных измерениях с помощью того же теста или его равноценного заменителя.
Установлено также, что чем выше тематическое, содержательное разнообразие тестовых заданий, тем ниже надежность теста.
Надежность тестов обученности значительно зависит от трудности их выполнения. Трудность определяется по соотношению правильных и неправильных ответов на тестовые вопросы.
Характеристика дифференцированности (различимости) связана с использованием таких тестов, где нужно выбирать правильный ответ из нескольких возможных альтернатив. Если, скажем, все учащиеся безошибочно находят правильный ответ на один вопрос и также дружно не могут ответить на другой, то это сигнал для совершенствования теста в целом. Его необходимо дифференцировать, сделать различимым.
При подготовке материалов для тестового контроля необходимо придерживаться таких основных правил:
1. Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися.
2. Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными.
3. Правильные ответы среди всех предлагаемых ответов должны размещаться в случайном порядке.
4. Ответы на одни вопросы не должны быть подсказками для ответов на другие. Важно проследить, чтобы ни одно задание теста не могло служить подсказкой для ответа на другое.
Варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа.
5. Вопросы не должны содержать «ловушек». Задания теста должны быть сформулированы четко, кратко и недвусмысленно, чтобы все учащиеся понимали смысл того, что у них спрашивается.
6. Вопросы не должны повторять формулировок учебника. Так, необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, действий и т.д. Тест не должен быть нагружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая может быть задействована, если в тест включать точные формулировки из учебника или фрагменты из него.
ФОРМАЛЬНЫЕ
ТРЕБОВАНИЯ К РАЗРАБОТКЕ ТЕСТОВ
1. Количество вопросов-ответов для целей компьютерного тестирования, которые требуется разработать
Разрабатываемые
вопросы-ответы должны быть разной
категории сложности. В данном случае
устанавливаются четыре категории
сложности разработки.
К первой категории
сложности относятся вопросы в текстовом
виде, содержащие два простых варианта
ответа («Да»/«Нет», «Присутствует» /
«Отсутствует», другие односложные
варианты ответов).
К четвёртой
категории сложности относятся вопросы
в графическом виде, содержащие не менее
шести вариантов ответов. Ко второй и
третьей категории относятся вопросы —
ответы по сложности пропорционально
более сложные, чем первой категории, и
менее сложные, чем четвёртой категории.
Не имеют категории
сложности, и, соответственно, не подлежат
приёмке вопросы — ответы общеупотребительного
характера, в которых определение ответа
не составляет сложности для лиц, не
обладающих специальными знаниями.
Вопросы — ответы
первой категории не могут составлять
более 25 процентов от общего числа
разработанных вопросов — ответов. Вопросы
— ответы четвертой категории сложности,
не могут составлять менее 10 процентов
от общего числа разработанных вопросов
— ответов.
2. Предметом вопросов-ответов являются пропущенные темы (модули, практические занятия – кейсы…)
3. Требования к представлению вопросов-ответов
3.1. Вопросы могут
разрабатываться в текстовой форме или
в виде графического изображения (рисунка,
фотографии и т.п.). Ответы могут
разрабатываться только в текстовой
форме.
3.2. Каждый вопрос
должен иметь не менее четырех вариантов
ответов, из которых не менее одного
являются правильными и не менее одного
являются неправильными.
3.3.Правильные
ответы на вопросы должны иметь обоснование
со ссылкой на конкретную норму документа
в данной сфере (технический регламент,
международный стандарт, национальный
стандарт, региональный стандарт, свод
правил, стандарт НОСТРОЙ, руководящий
документ и т.п.), либо на инструктивный,
методический документ или научный
результат. При ссылке на конкретный
документ необходимо указывать реквизиты
такого документа и его структурную
единицу, содержащую подтверждение
правильного ответа на вопрос (раздел,
часть, пункт, подпункт, литера, параграф,
абзац и т.п.). Не допускается обосновывать
правильный ответ общедоступными
литературными источниками.
3.4. Вопросы могут
быть сгруппированы по разделам
(подразделам и т.д.) модулям для целей
установления критериев определения
положительными результатов оценки
уровня знаний.
ТРЕБОВАНИЯ К
РАЗРАБОТКЕ ТЕСТОВ
Тесты должны
удовлетворять следующим общим требованиям:
1. Легкости понимания;
2. Относительной
новизны по способу решения и содержания;
3. Лаконичности;
4. Минимальной
вероятности случайного решения;
5. Экономичности
с точки зрения выполнения.
Тесты должны
составлять таким образом, чтобы они не
вызывали посторонних вопросов со стороны
тестируемых, не требовали больших усилий
для выполнения вспомогательных операций,
были компактны и удобны для учета
результатов и обработки материала
преподавателем, допускали возможность
формализации окончательных результатов,
четкой стандартизации процедуры оценки
и интерпретации.
Имеется ряд правил
формулирования содержания тестов, а
именно:
1. В основе каждого
теста (пункта), вопроса, набора суждений
и т.д. должна лежать одна мысль. Если
состав утверждений сложный (два или
более относительно независимых
высказывания), то формулировку следует
сократить или разделить на соответствующее
количество пунктов.
2. Следует избегать
употребления многозначных понятий,
редких значений слов, сленга, диалектизмов,
узкоспециальных терминов и формулировок.
3. Слишком короткие,
в телеграфном стиле, формулировки
вызывают дополнительные вопросы и
нередко являются многозначными.
4. Непомерно длинные
высказывания ведут к затруднению их
понимания, удлиняют время тестирования,
излишне утомляют, создают условия для
возникновения посторонних помех, которые
могут оказать влияние на результат
тестирования (устойчивость внимания,
навык чтения, индивидуальный уровень
развития понимания сложных синтаксических
конструкций и т.д.).
5. Тесты должны
быть реальными, отражать существующие
отношения, соответствовать времени,
иметь конкретное содержание.
6. Тесты не должны
быть похожими друг на друга по содержанию,
чтобы решение одного не служило «ключом»
для другого.
Составление тестов
открытого типа рекомендуется проводить
в следующей последовательности:
I. Написать
определение (принцип, закон).
II. Выделить в нем
ключевое слово.
III. Перестроить
фразу так, чтобы это слово оказалось
последним.
СОСТАВЛЕНИЕ
ТЕСТОВ
Исходным моментом
составления тестов является выделение
цели, преследуемой тестом.
По форме задания
или вопросы должны быть не допускающими
разночтений и имеющими однозначный
ответ, правильно грамматически и
литературно выраженными.
Конструирование
тестов требует четкого деления изучаемого
материала на логически оконченные дозы
информации, порции, фрагменты и т.п.,
уровень усвоения которых можно было бы
оценить кратко и однозначно. Такая доза
должна содержать не менее чем одно-два
новых понятия.
После
этой операции приступают к составлению
формулы задания, т.е. собственно теста.
Формула задания, по мнению Т.А.Ильиной
(Ильина Т.А. Вопросы методики
программирования. М., 1969, с. 59),
может иметь свыше пятнадцати видов:
узнавание требуемого явления среди
данных; отнесение данного явления к
соответствующей категории; нахождение
наиболее точного и правильного
определения; нахождения правила, которое
проиллюстрировано данным примером;
определение наиболее вероятной причины
данного явления; определение наиболее
вероятного исхода данного события;
нахождение типичного признака,
характеризующего данное явление;
нахождение одного верного утверждения
среди неверных; нахождение варианта
наиболее экономичного и рационального
решения; дополнение утверждения
недостающим элементом из числа данных;
определение явления по характерному
признаку и др.
Каждый из названных
вариантов может быть положен в конструкцию
формулы теста (задания), причем оно может
быть построено с выборочным либо
сконструированным ответом.
Составление
вопросов – самый ответственный и трудный
этап работы над тестовыми заданиями.
Все дело в том, что смысловая ориентация
вопросов, логическая непогрешимость
их и грамотность выражения определяют
в значительной степени качество ответов.
Двусмысленность и неясность формулировок
– наиболее распространенный недостаток.
Неправильное понимание заданий может
оказаться следствием их краткости.
Единичное предложение трудно сделать
ясным и четким. При обычном изложении
двусмысленность одного предложения
снимают предложения, следующие за ним.
В этом случае лучшей проверкой ясности
является прочтение написанного
материала другим человеком. Пишущий
задание замкнут на контекст, в котором
это задание должно восприниматься, и
ему трудно заметить другой смысл своих
формулировок. Прочтя написанное некоторое
время спустя, он, возможно, сам увидел
бы получившуюся двусмысленность.
Следует
избегать двойных отрицаний (отрицания
отрицаний). Например: «Что
из ниже перечисленного не относится к
качествам…?» Такие
вопросы сложны для восприятия слушателей
и затрудняют решение задания. Правильно
будет сформулировать данный вопрос
следующим образом: «Что
из ниже перечисленного относится к
качествам…
Вопросы (как и
ответы) не должны содержать жаргонизмов,
аббревиатур, так как слушатель не всегда
знает их содержания.
При
разработке тестов закрытого типа формулу
задания рекомендуется представлять в
виде утверждения, но допускается и в
виде вопроса. Разработчик теста должен
быть убежден, что среди множества
возможных вопросов стоит задать именно
этот. Затем он должен сформулировать
условие и ответы тестового задания
таким образом, чтобы правильный ответ
наверняка не мог быть найден каким-нибудь
поверхностным путем. Хорошо составленные
тесты должны заставить при поиске
правильного ответа отобрать, взвесить
и использовать те знания, которые
накоплены.
Способы конструирования
ответов имеют не меньшее значение, чем
формулирование вопросов. Ряд понятий,
из которого производится выбор правильной
информации, должен быть максимально
правдоподобным. Защита заданий от
нечестных приемов решения является
элементом методики составления тестовых
заданий. На всех стадиях составления
заданий необходимо предусматривать
способы защиты. Среди них можно выделить
следующие:
— помещение
правильного ответа среди неправильных;
— подбор и
использование правильной и неправильной
информации, предельно близких по форме
и внешним признакам;
— использование
неправильной информации с относительной
ложностью;
— изменение
соотношений между количеством порций
правильной и неправильной информации;
— хаотическое
размещение правильной и неправильной
информации.
Наиболее простым
и распространенным приемом построения
заданий является помещение правильного
ответа среди неправильных. Сущность
данного приема не требует особых
пояснений – один правильный ответ
помещается среди нескольких неправильных,
которые образуют информационный ряд.
Защищенность задания от угадывания
ответов будет тем выше, чем меньше
внешних признаков различия будут иметь
члены информационного ряда.
Главная задача
следующего приема – подбор неправильной
информации, предельно близкой по форме
и внешним признакам к правильному
ответу, но отличающейся по содержанию.
При формулировании
вариантов ответов необходимо стремиться
к тому, чтобы использовалось минимальное
количество слов примерно одинаковой
длины, чтобы они все были одинаково
привлекательны. Из самого вопроса
необходимо устранить все несоответствующие
подсказки к правильному ответу.
Для подбора
информации и для конструирования
альтернативных рядов целесообразно в
качестве неправильной информации
использовать: а) термины, определения
из смежных тем и разделов изучаемого
курса; б) неполные ответы; в) типичные
ошибки, допускаемые слушателями в
ответах при изучении контролируемого
материала.
Необходимо отметить,
что использование в выборочных ответах
абсурдной, провокационной, вымышленной
информации недопустимо, поскольку, с
одной стороны, это демаскирует правильную
информацию, а с другой – ведет к заучиванию
ненужного, порой вредного материала.
Изменение соотношения
между количеством правильной и
неправильной информации в выборочном
ответе также является одним из действенных
приемов защиты задания от угадывания.
Обычно при выборочном
способе конструирования задания одну
порцию правильной информации помещают
среди трех-пяти неправильных (уменьшение
этого числа увеличивает вероятность
случайного отгадывания правильного
ответа, увеличение же затрудняет решение
задания при анализе предложенных в нем
ответов). Это, так сказать классическая
схема построения выборочного ответа.
По эту схему обычно разрабатываются и
компьютерные системы тестирования. Но
по этой схеме можно запрограммировать
не каждое понятие, которое имеет несколько
признаков. В этом случае количество
порций правильной информации увеличивается
(при сохранении общего количества
порций). Если вся информация является
правильной, то в информационный ряд
помещается выражение типа «Все
ответы верны«.
Не менее интересным
приемом защиты ответа от угадывания
является помещение в информационном
ряду отсылки типа: «Правильного ответа
нет». Данный прием активизирует
мыслительную деятельность слушателя
при решении задачи, но одновременно он
выполняет и функцию защиты задания от
угадывания.
При
конструировании ответов для тестовых
задач, построенных по принципу
восстановления
соответствия частей,
используется такой прием, как увеличение
числа ответов по сравнению с количеством
задач в данном тестовом задании.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
Тесты выполняют одновременно целый ряд функций:
1. Контролирующую;
2. Обучающую;
3. Развивающую;
4. Воспитывающую;
5. Диагностическую;
6. Прогностическую.
Тесты можно использовать как на любом этапе урока, так и так и при изучении
нового материала, его закреплении и обобщении и при итоговом контроле.
При изучении нового материала тесты применяются для организации
самостоятельной работы учащихся, при этом тестовое задание может не только
опираться на знания, полученными учащимися на предыдущих уроках, но иметь
поисковый, эвристический, проблемный характер.
При закреплении или проверки текущего материала используются тесты-минутки
рассчитанные на 10–15 мин урока и содержащие 5–10 вопросов.
При итоговом контроле тестирование проводится довольно часто, при этом тесты
охватывают материал по крупным блокам (определенную тему, раздел). Их выполнение
рассчитано на целый урок. Экзаменационный тест должен охватывать материал всего
курса географии России в 9 классе или экономической и социальной географии мира
в 10–11-х классах. Школьные экзаменационные тесты проводятся, как правило, в
течении 2 часов и содержат от 25 до вопросов и заданий.
Тесты пригодны как для фронтальной, так и для групповой и индивидуальной
работе учащихся. С помощью тестовых заданий и вопросов значительно проще
подобрать материал, для каждого конкретного ученика, соответствующий уровню его
развития, возрастным мотивационным особенностям.
Тесты можно использовать не только на уроке в классе, но и в качестве
домашнего Задания, в отдельных случаях можно предложить учащимся составить
тестовые задания, что научит ребят правильно формулировать вопросы, будет
способствовать формированию умений обобщать и анализировать полученные знания
применять их на практике.
Методика составления и проведения тестов.
Основными этапами любого тестирования являются:
- Целеполагание т.е постановка конкретных целей перед тестированием и
понятных учащимся. - Подготовка и сбор информации для составления теста, соответствующей
школьной программе, учебникам и пройденному материалу. - Разработка и конструирование теста, т.е. выбор определенных видов
тестовых вопросов и заданий с учетом определенных требований:
надежность, точность, лаконичность;
недопустимость применения двусмысленных вопросов;
использование дополнительной литературы, энциклопедий, справочников для
составления тестов и их решения допустимо лишь для специализированных
классов и школ, а также для индивидуальной работы с сильными учащимися. - Подготовка участников тестирования заключается в мотивации, настрое и
тренинге. - Непосредственно тестирование должно стать одним из видов учебной
деятельности учащихся. - После проведения тестирования наступает обработка теста, т.е. проверка с
помощью ключа - Итогом результатов тестирования должен стать анализ результатов.
- Публикация результатов тестирования. Учащиеся должны быть ознакомлены с
результата тестирования, они должны быть допущены к просмотру выполненных
работ и имеют право на апелляцию.
При всем многообразии тестовых задании можно выделить всего четыре основных
группы тестов:
- задание на выбор правильного ответа;
- приведение в соответствие или классификацию объектов;
- расположение объектов в определенном порядке;
- “открытые” тесты, где необходимо вписать “пропущенные” слова.
Виды тестов по форме.
Наиболее простыми при составлении и самыми распространенными видами тестовых
заданий являются тесты-определители, составленные по принципу вопрос – ответ.
1. Тесты – определители с одним правильным ответом.
Сложность данного типа тестового задания зависит, от количества указанных
ответов: два, три и т. д. Например: выделите страну, господствующей религией в
которой является ислам: 1. Ангола, 2. Италия, 3. Пакистан, 4. Канада, 5. Перу,
6. Фиджи.
Кооперирование – это:
а) выпуск предприятием соответствующей продукции;
6) сосредоточение на одном предприятии технологически последовательно связанных
производств;
в) сосредоточение предприятий на одной территории;
г) объединение предприятий с целью производства единой конечной продукции.
Ли6о наоборот: вопросом является определение, а ответом – само понятие.
Объединение предприятий с целью производства единой конечной продукции – это:
1. специализация;
2. комбинирование;
3. кооперирование;
4. концентрация.
2. Тесты – определители, где ответы идут с увеличением участвующих объектов,
причем обходимо назвать их максимальное количество.
Летом тропические ВМ господствуют:
1) в тропическом климатическом поясе;
2) в тропическом и субтропическом климатических поясах;
3) в тропическом, субтропическом и субэкваториальном климатических поясах.
3. Тесты – определители, где все ответы правильные.
Крупными производителями автомобилей являются:
1) Япония;
2) Западная Европа;
3)США;
4 )все указанные регионы.
4. Тесты – определители, имеющий несколько правильных ответов и указано их
количество (один, два, три и т. д.).
В данном списке выделите два региона России, в которых нет городов –
миллионеров:
- Центральный;
- Дальневосточный;
- Западно-Сибирский;
- Центрально-Черноземный;
- Волго-Вятский;
- Северо-Кавказский.
5. Тесты – определители, имеющие несколько правильных ответов, построенные по
принципу выделения неправильных ответов, но неуказанно их количество.
Выделите объекты, относящийся к формам рельефа:
1) холм;
2) ветер;
3) песок;
4) равнина;
5) овраг;
6) гранит.
6. Тесты – определители построенные по принципу выделения неправильных
ответов, имеют, как правило, в задании какие – либо отрицания.
Выделите объект, не относящийся к Средней Сибири:
1) траппы;
2) Саяны;
3) Таймыр;
4) лиственница;
5) Путорана.
7. Тесты – определители с использованием рисунков, графиков, схем или
диаграмм.
На какой из приведенных диаграмм верно указано соотношение суши и воды на
Земле:
8. Альтернативные тесты формулируются в виде вопроса – утверждения и требует
однозначного ответа “да” или “нет”. Альтернативный тест может содержать один или
несколько заданий.
В развитых капиталистических странах ввиду высокого уровня жизни наблюдается
высоки естественный прирост населения.
1)да; 2)нет.
9. Опознавательные тесты, т.е. определение объекта по краткой характеристике,
где названы примеры объектов, один из которых правильный.
Определите физико-экономический район России по данной характеристике:
занимает большую площадь территории, большая часть которой занята древней
платформой, преобладают плоскогорья, особенностью геологического строения
являются траппы, на большей части территории климат резко – континентальный, на
территории района находится “полюс холода; широко распространены мерзлотно –
таежные почвы и лиственничные леса.
1) Русская равнина;
2) Горы Южной Сибири;
3) 3аподно – Сибирская равнина;
4) Средняя и Севере – Восточная Сибирь.
10. Определение объекта по краткой характеристике, ответ необходимо вписать
самостоятельно.
По данной характеристике определите страну Европы: внутриконтинентальная
страна, федеративная республика, член ЕС, проводит политику постоянного
нейтралитета, столица является крупнейшим городом страны.
———————————————————————————————————
Ответ: Австрия
11. Определение объекта по списку других объектов, где указаны варианты
ответов.
По списку типичных животных определите природную зону Африки (Горилла,
шимпанзе леопард, карликовый бегемот, окапи, птица – носорог):
1) влажные экваториальные леса;
2) средиземноморская;
3) саванны;
4) пустыни.
12. Определение объекта по списку других объектов без вариантов ответа.
По списку приграничных государств определите страну Азии (Исламабад, Пекин,
Дакка, Катманду).Ответ:
————————————————————————————————————
Ответ: Индия
13. Приведение в соответствие, причем количество вариантов первого первого
столбика совпадает с количеством вариантов второго столбика.
Приведите в соответствие горные системы и их геологический возраст:
1)Гималаи 2)Уральские горы 3)Кордильеры |
а) древняя складчатость б) средняя складчатость в) новая складчатость |
Ответ: 1-в; 2-а; З-б
14. Приведение в соответствие, причем количество ответов первого столбика не
совпадает количеством вариантов второго столбика.
Приведите в соответствие формы рельефа и тектонические структуры:
1)Урал 2)Хибины 3)3аподно-Сибирская равнина 4)Сихоте-Алинь |
а) щит б) молодая платформа в) герцинская складчатость г) мезозойская складчатость |
Ответ: 1-в;2-а;3-б;4-д
15. Приведите в соответствие, подразумевающее вариативность правильных
ответов.
Приведите в соответствие климатические пояса и характерные для них ВМ:
1 .экваториальный 2. субэкваториальный 3. тропический 4. субтропический |
а) тропические б) умеренные в) субэкваториальные г) экваториальные |
Ответ: 1– а;2-а;3-а;4-а,б
16. Тесты на приведение в соответствие. В одном из столбиков есть “лишний”
вариант. Приведите в соответствие отрасли промышленности и факторы их
размещения:
1. гидроэнергетика 2. металлургия алюминия 3. судостроение 4. сахарная промышленность |
а) потребительский б) сырьевой в) энергетический |
Ответ: 1-б;2-г;3-а;4-б
17. “Открытые” (или перспективные) тесты.
В отличие от тестовых заданий, предполагающих необходимость самостоятельно
вписать верный ответ, в “открытых” тестах в отдельных случаях не “связан” одним
верным ответом, а имеет право самостоятельного выбора объектов, отвечающим
названным требованиям.
Вставить пропущенные слова. При данной постановке вопроса у тестируемого, как
правило нет самостоятельного выбора – необходимо вписать конкретные слова.
Вставьте пропущенные слова: Низменность – это вид ______, с ____ высотой до __
метров, (равнины, абсолютной, 2000.)
Самостоятельно вписать примеры – данный вид тестового задания подразумевает
полную свободу действий тестируемого.
Назовите три основных государства Азии:
————————————————————————————————
—————————————————————————————————-
на выбор: Бахрейн, Бруней, Кипр, Мальдивские о-ва, Сингапур, Тайвань, Шри –
Ланка, Филиппины, Япония.
18. Тесты связанные с заполнением таблицы без вариантов ответа.
Заполните таблицу:
Воздушные массы | Район формирования | Температура и влажность |
Жаркая и влажная | ||
тропические | ||
Умеренные широты над океаном | Лето: Зима: | |
антарктические |
19. Тесты, связанные с заполнением таблицы с вариантами ответов.
Заполните таблицу, используя предложенные варианты ответов:
Страна | Столица | Форма правления | Административно-территориальное устройство |
Канада | |||
Прага | |||
Конституционная монархия | |||
Оман | |||
Конфедерация | |||
Варианты ответов: Чехия, Швейцария, Норвегия, Маскат, Оттава, Берн, Осло,
республика, абсолютная монархия, государство Британского Содружества, унитарное,
федеративное.
20. Тесты связанные с заполнением схемы с вариантами ответов.
Заполните схему, используя следующие слова:
1. Мировой океан;
2. болота;
3. ледники;
4. горные;
5. подземные воды;
6. реки;
7. покровные.
8. моря;
9. заливы.
21. Тесты, связанные с заполнением схемы без вариантов ответов.
Заполните схему:
22. Тестовые задания, требующие выполнение расчетов, с вариантами ответов.
Используя рисунок 60 на странице 96 (Суханов В.П. Физическая география. 6
класс.) или рисунок 80 на странице 144 (Герасимова Т.П. и Неклюкова Н.П.
География. Начальный курс.).
Определите, сколько выделится воды, если температура воздуха снизится с 20 С до
10 С при условии, что относительная влажность воздуха равнялась 100%: 1) 9 г; 2)
8 г; 3) 17 г.
23. Тесты, требующие выполнение расчетов без вариантов ответов.
Определите коэффициент увлажнения, если известно, что в городе Н испаряемость
равна 31 мм. и в течении года выпадает 488 мм. осадков:
Ответ 1,3
Тесты – классификаторы.
Тесты – классификаторы формулируются в виде набора определенных объектов,
и тестируемый должен провести их классификацию по указанному критерию или
выбрать критерий классификации самостоятельно. Данный вид теста наиболее удобен
для установления внутрипредметных или межпредметных связей.
24. Тесты – классификаторы с указанием классификации.
Разделите горные породы, приведенные в данном списке, на три группы:
а) известняк; б) гранит; в) мрамор; г) базальт; д) туф; е) ракушечник; ж) гнейс;
з)галька; и) уголь; к) обсидиан; л) графит; м) доломит.
Осадочные:
————— |
Метаморфические:
——————- |
Магматические:
—————— |
Проклассифицируйте указанные объекты по природным зонам России и результаты
занесите в таблицу: Лиственница, лемминг, ковыль, бурундук, ягель, песец,
соболь, дрофа, кедр, кролик.
25. Тесты на самостоятельную классификацию.
Сгруппируйте по языковым семьям народы России:
Русские, карелы, татары, осетины, якуты, украинцы, коми, буряты, башкиры,
удмурты.
А | Б | В | Г |
———— ———— ———— |
———- ———- ———- |
———- ———- ———- |
———- ———- ———- |
26. Тесты, проверяющие знания географической карты и географического
пространства построенные по принципу альтернативного теста.
В каждой паре подчеркните страну, расположенную севернее:
Норвегия – Дания;
Испания – Бельгия;
Чехия – Венгрия;
Швейцария – Германия.
27. Расставить по порядку.
Распределите горные страны по мере увеличения их высоты:
Гималаи – _____ 4
Уральские –____ 1
Альпы – ________2
Кордильеры – ____3
28. Тесты на установление причинно – следственных связей.
Укажите правильную последовательность причинно – следственных связей:
Развитие земледелия – __________ 4
Агроклиматические ресурсы – ___1
Географическая широта – _______2
Плодородие почв – ____________ 3
29. Тесты по нахождению “лишнего” объекта, где даны критерии ответа.
В данном списке выделите народ, отличающийся от остальных по религиозному
признаку: Русские, сербы, грузины, греки, поляки
30. “Лишний” объект – нет критериев ответа.
В данном списке выберите ответ отличающийся от остальных: Гранит, базальт,
пемза, обсидиан, мрамор.
Рекомендации к составлению тестов
Авторы: Е.Г. Тиссен, И.Г. Калугина, А.С. Спирина
Тестирование, как одна из форм аттестации, представляет собой процедуру, позволяющую объективно установить уровень учебных достижений обучающихся: теоретических знаний, интеллектуальных умений, практических навыков.
Тестирование в педагогике выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную:
- Диагностическая функция заключается в выявлении уровня знаний, умений, навыков обучающихся. Это основная и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования тестирование превосходит все остальные формы педагогического контроля.
- Обучающая функция тестирования состоит в мотивировании учащихся к активизации работы по усвоению учебного материала. В целях усиления обучающей функции тестирования могут быть использованы дополнительные меры стимулирования, такие, как раздача преподавателем примерного перечня вопросов для самостоятельной подготовки, наличие наводящих вопросов и подсказок в тесте, совместный разбор результатов теста.
- Воспитательная функция проявляется в периодичности и неизбежности тестового контроля. Это дисциплинирует, организует и направляет деятельность обучающихся, помогает выявить и устранить пробелы в знаниях, формирует стремление развивать свои способности.
Тест – это стандартизованное задание, по результатам выполнения которого дается оценка уровня знаний, умений и навыков испытуемого. Педагогический тест определяется как система заданий (вопросов) определенного содержания и специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний каждого испытуемого.
Традиционно рассматривается три основных критерия качества теста: действенность (валидность, показательность), надежность (вероятность, правильность), дифференцированность (раз-личимость).
Действенность теста по своему содержанию близка к требованию полноты, всесторонности проверки, пропорционального представления всех элементов изучаемых знаний, умений. Четкая и ясная постановка вопроса в пределах контролируемых знаний – неотъемлемое условие действенности теста. Если уровень теста превышает запроектированный уровень обучения, выходит за пределы изученного содержания или же не достигает этих пределов, то он не будет действенным для тех обучаемых, которым он адресован. Действенность теста обычно определяется статистическими методами.
Степень надежности характеризуется стабильностью, устойчивостью показателей при повторных измерениях с помощью одного и того же теста или его равноценного заменителя. Установлено, что надежность теста повышается при увеличении количества тестовых заданий в рамках одной, конкретно обозначенной (проверяемой) темы и понижается при увеличении (большем разбросе) тематического, содержательного разнообразия вопросов. Надежность тестов также значительно зависит от трудности их выполнения. Трудность определяется по соотношению правильных и неправильных ответов на тестовые вопросы. Включение в состав тестов таких заданий, на которые все обучаемые отвечают правильно или же наоборот, неправильно, резко снижает надежность теста в целом. Наибольшую практическую ценность имеют задания, на которые правильно отвечают 45 – 80% обучаемых.
Характеристика дифференцированности связана с использованием таких тестов, где нужно выбирать правильный ответ из нескольких возможных альтернатив. Если, например, все обучающиеся безошибочно находят правильный ответ на один вопрос и также дружно не могут ответить на другой, то это сигнал для усовершенствования теста в целом. Его необходимо дифференцировать, сделать различимым.
Кроме рассмотренных критериев используется и показатель эффективности теста. Тест, обеспечивающий при прочих равных условиях большее количество ответов за единицу времени, считается более эффективным.
В разработке педагогических тестов можно выделить три этапа (Рис.7): планирование, написание заданий и анализ заданий, каждый из которых, в свою очередь, включает в себя несколько обязательных стадий.
Рис. 7. Этапы разработки тестовых заданий
Как отмечалось выше (критерий действенности), тест должен соответствовать запроектированным целям обучения, образования, развития обучаемых. Поэтому первый шаг в планировании теста – это анализ соответствующих Государственных образовательных стандартов, всех разделов учебной программы, учебников и учебных пособий. Составителю теста необходимо иметь четкое представление о требованиях к знаниям, навыкам и умениям обучающихся по данной учебной дисциплине, хорошо знать цель и конкретные задачи обучения. Задания теста должны в полной мере выявить степень овладения требуемыми знаниями, навыками и умениями.
Для получения максимального результата от тестирования рекомендуется использовать тесты с целью:
- оценки остаточных знаний;
- промежуточного (для каждой темы) контроля;
- итогового контроля.
На этом основании можно выделить следующие типы тестов: входящие, текущие, промежуточные, итоговые.
Входящие (предварительные) тесты – предназначены для предварительного измерения степени готовности к освоению учебного содержания, являются способом адаптации к требованиям учебной дисциплины. Главная функция подобных тестов связана с самооценкой. Содержанием является ключевой материал предшествующего этапа обучения или навыки, приобретенные в ходе повседневного взаимодействия с объектом изучения. Для обучающегося данные тесты являются средством актуализации имеющихся знаний и умений, необходимых для последующего освоения содержания учебного предмета. Входящее тестирование сочетается с требованиями коррекционного обучения, направленного на устранение пробелов в знаниях, умениях. Поэтому такие тесты уместно использовать не только в начале учебного года, но и в начале изучения нового раздела или при овладении новым комплексом умений.
Текущие тесты – направлены на диагностирование хода учебного процесса, проверку одной из единиц содержания обучения (знания, умения, опыт), организацию экспресс-контроля осознания усвоенной информации. Данные типы тестов используются в повседневной учебной деятельности, имеют большое значение для стимулирования у обучающихся стремления к самостоятельной систематической работе, повышают интерес к учению, чувство ответственности за полученные результаты. Содержание этих тестов охватывает важнейшие элементы знаний, умений, освоенные обучающимися в ходе урока или на протяжении двух-трех уроков.
Промежуточные тесты – позволяют оценить качество освоения темы, раздела внутри программного модуля, предметных умений и навыков в конце учебного периода (четверть, семестр, полугодие). Содержание таких тестов основано, как правило, на большом объеме материала. К промежуточному педагогическому тесту предъявляются повышенные требования. Он должен обладать достаточно высокой надежностью и действенностью (валидностью), так как речь идет не просто о проверке усвоения отдельных элементов, а о понимании системы, объединяющей эти элементы. Оценка промежуточных тестов осуществляется на основе тех критериев, которые предусмотрены учебной программой, требованиями школы и государственными обра-зовательными стандартами.
Итоговые тесты – предназначены для контроля и оценки степени сформированности знаний, умений, навыков по окончании учебного года, этапа обучения в школе (начальная, основная, средняя школа) или по завершению изучения учебной дисциплины; оценки уровня учебных достижений обучающихся по основным компонентам содержания образования. Содержание тестов должно быть разработано на основе содержания блоков и модулей, предлагаемых в типовых программах образования в школе.
Педагог может самостоятельно разрабатывать входящие, текущие и промежуточные тесты, имея для этого необходимые компетенции, или использовать готовые варианты.
Во избежание несбалансированности и диспропорции, охватываемых тестом тем, составлению заданий должна предшествовать разработка его спецификации. При подготовке тестов разработку спецификации следует начать с описания целей изучения данного предмета, а также охватываемого этим предметом содержания. Перечисляя цели, создатель теста должен проанализировать, к каким изменениям ведет освоение изучаемого предмета: скажется ли оно на приобретении и развитии интеллектуальных навыков, способах решения задач, а также на способностях, интересах и прочих подобных характеристиках.
Тест состоит из тестовых (контрольных) заданий, инструкций к ним, баллов за выполнение каждого задания, общего тестового балла, рекомендаций по интерпретации результатов тестирования.
Тестовые задания включают в себя вопросы, отражающие содержание курса, которые выносятся на контроль. Исходным моментом составления тестовых заданий является выделение общей цели, преследуемой тестированием, и далее цели, с которой задание включается в тест. Такие цели должны предусматривать следующие требования к уровню знаний и умений обучающихся:
а) простое воспроизведение знаний, анализ и сравнение данных. Постановка таких вопросов в заданиях позволяет проверить усвоение учащимися материала на уровне запоминания, тренирует память;
б) анализ признаков понятия. При этом выявляется умение обучающихся находить общее и специфическое в изучаемом материале, отделять существенные признаки от несущественных, родовые от видовых и т.д.;
в) умение распознавать схемы, рисунки;
г) понимание функций, выполняемых различными элементами (органами, звеньями, приборами, устройствами и т. п.), и процессов взаимодействия между ними. Вопросы такого типа позволяют проверить умение обучаемых вскрывать определенные причинно-следственные связи и отношения, оценивать роль и значение данного элемента для процессов, происходящих во всей системе;
д) приведение в логическую последовательность элементов множества, расположенных в беспорядке, т. е. умение решать задачи определенного класса, требующие обнаружения последовательности расположения элементов в информационном ряде объектов, тактических приемов;
е) творческий подход к рассматриваемым проблемам и вопросам, умение применять полученные знания в условиях той или иной ситуации.
Отличительная особенность тестовых заданий заключается в том, что все задания теста должны соответствовать следующим критериям, предъявляемым к форме и содержанию:
- правильность содержания;
- логичная форма высказывания;
- правильность формы;
- краткость вопросов и ответов;
- наличие определенного места для ответов;
- правильность расположения элементов задания;
- одинаковость правил оценки ответов;
- одинаковость инструкции для всех испытуемых;
- адекватность инструкции форме и содержанию задания.
Правильность содержания означает, что из тестового задания должна быть полностью устранена двусмысленность. Тестовое задание формулируется из точных терминов и не должно содержать ни метафор, ни лишних слов, ни лишних знаков.
Конструирование тестовых заданий требует четкого деления изучаемого материала на логически законченные доли учебного материала, уровень усвоения которых можно было бы оценить кратко и однозначно. Эти доли не должны быть слишком малы, чтобы в целях контроля усвоения материала не приходилось ставить элементарные вопросы, не требующие усилий мысли обучающегося. Подобная часть учебного материала должна содержать не менее одного-двух новых понятий. При этом важно выделить главные (проблемные) вопросы, не увлекаясь второсте-пенными.
Логические требования к тестовым заданиям – это требования определенности, непротиворечивости и обоснованности содержания теста.
Определенность содержания теста образует предмет измерения. Довольно часто случается так, что правильные ответы на некоторые задания требуют знаний не только тестируемой дисциплины, но и ряда других, близость и связанность которых затрудняет точное определение предметной принадлежности измеряемых знаний. Чем меньше пересечение знаний одной тестируемой дисциплины со знаниями другой, тем определеннее содержание теста. В каждом тестовом задании заранее определяется, что́ однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него.
Непротиворечивость содержания заданий требует, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Недопустимо существование двух исключающих ответов на одно и то же задание теста. Не допускается содержание ответов, вообще не связанных с содержанием задания. Если при апробации теста обнаружатся ответы к заданиям, которые обучающиеся вообще не выбирают, то такие ответы из теста удаляются, потому что они не выполняют функцию так называемых дистракторов, призванных отвлечь внимание незнающих обучающихся от правильного ответа.
Обоснованность содержания тестовых заданий означает наличие у них оснований истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. В случае отсутствия доказательных аргументов в пользу правильности сформулированного задания, оно не включается в тест ни под каким предлогом. То же происходит, если в процессе экспертного обсуждения возникает хотя бы один контраргумент или допускается условие, при котором данное утверждение может оказаться двусмысленным или ложным.
Правильная форма заданий – это средство упорядочения и эффективной организации содержания теста. Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам.
Ответ на задание теста представляет собой краткое суждение, связанное по содержанию и форме с содержанием задания. Каждому заданию ставятся в соответствие ответы правильные и неправильные. Следует избегать применения таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные». Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися. Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными. Правильные ответы должны располагаться среди всех предла-гаемых ответов в случайном порядке. Ответы на одни вопросы не должны служить подсказками для других. Критерии правильности заранее определяются авторами теста. В идеале, вероятность правильного ответа на любое задание должна зависеть только от соотношения уровня знаний испытуемого и уровня трудности задания.
Наличие определенного места для ответов является одним из внешних признаков задания в тестовой форме. Правильность расположения элементов задания является требованием, помогающим тестируемым не тратить время на определение места для ответов и быстрее зафиксировать свое решение.
Правила оценки определяются заранее и абсолютно одинаковы ко всем испытуемым.
В целях формирования наибольшей наглядности тестового кон-троля, рекомендуется максимально использовать в тестах гра-фический материал.
На этапе написания заданий (Рис. первостепенной задачей является выбор типа тестового задания. По форме предъявления ответа тестовые задания классифицируют на задания открытого типа и закрытого.
Задания открытого типа представляют собой тип тестовых заданий, предусматривающих свободные ответы обучающихся, по сути это задания без предлагаемых вариантов ответов. Предполагается, что тестируемый должен дать короткий и четкий ответ из одного, реже – двух слов (это следует указать в инструкции к тесту). Задания открытой формы часто разделяют на задания дополнения (предполагается, что заполнить пропуск можно строго однозначно) и задания свободного изложения. Данный тип теста часто используют в заданиях на математические вычисления.
Пример:
Инструкция: дополнить.
1. Система внутренних побуждений человека, определяющая его избирательную активность называется ________________.
Правильный ответ: направленность.
Тестовые задачи данного типа позволяют получать разностороннюю, развернутую информацию о знаниях обучающегося. Они применяются в случае, когда необходимо проверить знание фактического материала, способность обучающегося интерпретировать данные и применять правила, когда исключается фактор догадки.
Наряду с достоинствами, заданиям открытого типа присущи и определенные недостатки, основными из которых являются: сложность (иногда невозможность) формализации ответов и их оценки; неоднозначность, вызывающая затруднения в интерпретации (связанная иногда с необходимостью дополнительного расспроса), громоздкость процедуры и большие затраты времени на тестирование. Следует избегать применения данного типа заданий, когда возможен не один, а несколько правильных ответов. Компьютерная обработка подобных заданий затруднена.
При составлении заданий открытого типа необходимо учитывать следующие общепринятые правила:
- в каждом задании должно быть только одно дополнение (ответ);
- дополнение (ответ) должно быть наиболее важным («ключе-вым») термином, знание которого является обязательным;
- дополнение (ответ) лучше всего располагать в конце предложения;
- вопрос должен формулироваться четко, требовать однозначного ответа и не допускать двоякого толкования.
Составление задания открытого типа можно проводить в следующей последовательности:
- написать определение (принцип, закон);
- выделить в нем ключевое слово;
- перестроить фразу так, чтобы это слово оказалось послед-ним.
Пример:
- Под направленностью понимается система внутренних побуждений человека, определяющая его избирательную актив-ность.
- Под направленностью понимается система внутренних побуждений человека, определяющая его избирательную актив-ность.
- Система внутренних побуждений человека, определяющая его избирательную активность, называется ________________.
Правильный ответ: направленность.
Задания закрытого типа – тип тестовых заданий, предусматривающий различные варианты ответа на поставленный вопрос, задачу. Из ряда предлагаемых ответов, тестируемый выбирает один или несколько, по его мнению, правильных.
В педагогической практике наиболее удобными и широко используемыми для дистанционного обучения являются задания с предписанными ответами (закрытые), которые в свою очередь делятся на следующие виды:
- задания с альтернативными ответами;
- задания с множественным выбором;
- задания с выражением ответа в виде восстановления частей предложений, фигур и т. д.
Рис. 8. Типы тестовых заданий
Альтернативные задания предусматривают наличие двух вариантов ответов (типа «да» – «нет», «верно» – «неверно» и т.д.).
Пример: Выберите, на ваш взгляд, верный вывод о «состоянии» Версальско-Вашингтонской системы в 1930-е гг.
1. Версальско-Вашингтонская система в 1930-е гг. была оплотом мира и спокойствия на международной арене | да | нет |
2. Правовые и политические основы Версальско-Вашингтонской системы были полностью разрушены | да | нет |
Правильный ответ: Правовые и политические основы Версальско-Вашингтонской системы были полностью разрушены
Достоинством этого вида заданий являются простота процедуры регистрации и обработки данных, четкая формализация оценивания. Этот тип заданий можно использовать для оценки способности тестируемого различать правильный и неправильный ответы, способности связывать причину и следствие. К недостаткам следует отнести высокую вероятность случайных ответов и то, что у обучающегося есть шанс «отгадать» правильный ответ. Поэтому не следует использовать данный тип заданий при оценке запоминания фактов, способности обучающегося синтезировать или анализировать сложную информацию. Основная сфера применения альтернативных заданий – быстрая проверка ориентированности обучающихся в учебной дисциплине, что может эффективно использоваться в текущем контроле.
Задания с множественным выбором предусматривают большее количество возможных ответов, как правило, от четырех и более. Задания с множественным выбором состоят из основы (вопрос или незавершенное предложение), правильного ответа и нескольких неправильных ответов, отвлекающих внимание. Есть, по меньшей мере, четыре вида задач с множественным выбором:
- Правильный ответ – обучающийся выбирает правильный ответ из нескольких альтернатив.
Пример:
Инструкция: выбрать один правильный ответ.
Стрелецкий бунт, в результате которого на престол были возведены цари Иван и Петр при регентстве Софьи, произошел
1) в 1676 г.
2) в 1682 г.
3) в 1689 г.
В качестве тестовых заданий могут быть использованы последовательные цепочки вопросов.
Пример:
Инструкция: к каждому вопросу выбрать один правильный ответ.
Человек находится под постоянным воздействием своего внутреннего состояния.
1. Изменение внутреннего состояния человека воспринимается:
- а) сознанием;
- б) органами чувств.
2. Данное восприятие вызывает:
- а) изменение в состоянии организма;
- б) ухудшение в состоянии организма.
3. Данная реакция приводит к:
- а) стабильности организма;
- б) внесению изменений в поведение человека.
Цепочка может быть продолжена, причем ее могут составлять тестовые задания различных видов.
- Самый лучший ответ – обучающийся должен выбрать самый лучший ответ из нескольких вариантов.
Пример
Инструкция: выбрать один, наиболее точный ответ.
Какое из суждений наиболее точно определяет личность:
- А) Человек как совокупность всех общественных отношений.
- В) Человек, достигший определенного уровня психического развития.
- С) Человеческий индивид как субъект межличностных и социальных отношений и сознательной деятельности.
- D) Дееспособный член общества.
- Несколько вариантов правильного ответа – обучающийся должен выбрать несколько правильных ответов из предложенного списка.
Пример
Инструкция: выбрать несколько правильных ответов.
Какие факторы предопределили непрочность Версальско-Вашингтонской системы?
- Традиционное военно-силовое мышление политических лидеров стран-победительниц и их непомерные требования.
- Новое государственное размежевание в Европе.
- Отсутствие экономической программы восстановления Европы.
- Исключение Советской России из договорной системы.
- Умеренная сумма репарационных платежей, возложенных на Германию.
- Противоречия между великими державами.
- Утверждение американским Конгрессом вступление США в Лигу Наций.
- Слабость Лиги Наций как международной организации, призванной обеспечить мир.
- Отказ Германии подписать Версальский договор.
- Незаконченное утверждение – обучающийся должен закончить мысль, выбрав правильный ответ.
Пример
Инструкция: выбрать правильный ответ.
Под конфликтом в психологии понимают:
- Причины непонимания людьми друг друга, приводящих к обострению взаимоотношений.
- Столкновение взглядов, идей, убеждений, в основе которых лежат обостренные противоречия.
- Индивидуальные или коллективные акты поведения, идущие в разрез с общепринятыми нормами.
- Средства отстаивания своей позиции, не совпадающей с мнением большинства.
В заданиях с множественным выбором вероятность угадывания ниже, чем в альтернативных задачах, вместе с тем процедура обработки практически не усложняется. Это делает данный тип тестовых заданий предпочтительным в большинстве случаев. Он используется тогда, когда необходимо провести оценку знаний: насколько хорошо усвоен материал, как полученные знания используются в практической работе.
Следует избегать использования данного типа заданий, когда оценивается способность вспоминать факты, так как в данном случае проверяется способность распознавать правильные ответы. Не следует пользоваться данным типом заданий при оценке оригинальных и творческих подходов.
При разработке заданий с множественным выбором, в целях исключения подсказок со стороны других вариантов ответов, которые явно могут контрастировать с правильными, требуется подбирать внешне правдоподобные и похожие на правильный ложные ответы. При разработке данного типа тестовых заданий формулирование подобных ответов представляет наибольшую трудность. Если они составлены неудачно, то правильный ответ выделяется на их фоне и может быть легко «расшифрован» даже недостаточно обученным учащимся. В таком случае задание теряет свою контролирующую функцию. Чтобы задание «работало», все ответы должны быть привлекательными, причем желательно, чтобы их правдоподобность была более или менее равнозначной, равновероятной. Только тогда задание с множественным выбором становится удачным.
Выбор таких вариантов ответов сложен и обычно проводится на материале опроса по данному пункту при открытой форме ответа. Наиболее часто встречающиеся варианты неправильных ответов обучающихся обычно дают материал для составления вариантов ответов. В целях снижения вероятности появления случайных правильных ответов порядковые номера (места) вариантов должны меняться по случайному закону.
Задачи закрытого типа, построенные по принципу восстановления соответствия частей, являются модификацией задач с множественным выбором. Здесь в блок объединяется ряд задач и ответов на них, при этом количество задач и решений может совпадать (что более типично) или число ответов может быть больше, чем число задач данного блока.
При оценке выполнения задания следует учитывать, что все задание рассматривается как одно. Если допущена хотя бы одна ошибка, то ответ считается неверным.
В качестве примера тестовых заданий по выбору соответствия можно привести следующие:
Пример 1:
Инструкция: установить соответствие.
Виды ассоциаций | Определение |
1. По смежности | А. В памяти возникают прямо противоположные факты и явления |
2.По контрасту | Б. Основаны на «пространственных» связях |
3. По времени | В. Основаны на сходстве товаров |
4. По сходству | Г. Взаимодействие предметов, следующих друг за другом |
… | Д. Товары предназначены на одну и ту же сферу применения |
Возможно иное расположение материала задания.
Пример 2:
Инструкция: установить соответствие.
-
- К психическим процессам относятся:
- ощущения,
- восприятие,
- внимание,
- память.
-
- Определения
А. Направленность психической деятельности на какой-либо объект.
Б. Целостное отражение в коре головного мозга предметов и явлений окружающего мира.
В. Запоминание, сохранение и воспроизведение воспринятой информации.
Г. Познавательный и предметный процесс взаимодействия с окружающей действительностью.
Д. Отражение в коре головного мозга отдельных свойств предметов и явлений окружающего мира.
Данный тип тестовых заданий может использоваться при оценке понимания принципов и концепций, способности классифицировать информацию. В сущности, одно тестовое задание данного типа включает в себя несколько задач соответственно количеству пунктов задания. Это позволяет повысить эффективность и экономичность теста.
Задание закрытого типа на установление правильной последовательности. С помощью таких заданий можно проверить последовательность протекания процесса, порядок решения какой-либо задачи, алгоритм действия. К этим заданиям дается следующая инструкция: «Установить правильную последовательность». В отличие от вопросов с выбираемыми ответами, здесь важен порядок следования номеров правильных ответов. Если допущена хотя бы одна ошибка, то ответ оценивается как неверный.
Принцип правильной последовательности может быть применен к заданиям на ранжирование элементов по возрастанию или убыванию их значимости, свойств, количественных характеристик.
Пример:
Инструкция: установить правильную последовательность.
Указать страны в порядке возрастания доли расходов на вооружение:
а) Япония;
б) США;
в) Германия;
г) Россия;
д) Англия.
Комбинацией открытого и закрытого типов заданий являются задания на подстановку:
Пример 1:
Инструкция: закончить предложение, выбрав правильный ответ.
Частые горизонтальные и вертикальные линии в иллюстрации вызывают у человека _____________ .
- спокойствие,
- раздражительность,
- вдохновленность,
- непринужденность.
Пример 2:
Инструкция: дополнить, выбрав несколько правильных ответов.
Красный цвет ___________ кровяное давление, вызывает __________, указывает на ________________ человека.
- понижает,
- повышает,
- возбуждение,
- успокоение,
- спокойствие,
- энергичность.
В случае выбора нескольких правильных ответов важен порядок ввода их номеров. Задания на подстановку подходят для текущей проверки знаний, которая носит контрольно-обучающий характер. Без слов-подсказок уровень трудности заданий существенно выше (открытые задания).
Очевидно, что один и тот же вопрос может быть выражен как в форме открытого, так и в форме закрытого задания, поэтому для предъявления вопроса обучающемуся нужно искать форму, наиболее полно отвечающую целям тестового задания и тестирования в целом.
Возвращаясь к этапам разработки педагогических тестов следует отметить, что на заключительной стадии (этапе анализа) следует уделить особое внимание определению трудности заданий и установить шкалу оценивания теста.
В процессе составления теста задания подбираются так, чтобы они соответствовали определенному уровню трудности. Педагогические тесты предназначены для как можно более точной оценки индивидуального уровня знаний и умений учащихся, и если в таком тесте никто не может справиться с заданием, то оно оказывается балластом. То же самое можно сказать о заданиях, с которыми справляются все.
Показателем трудности тестового задания (р) является доля обучающихся, выполнивших и не выполнивших задание. Чаще всего степень трудности задания определяется процентом тестируемых, давших правильный ответ. Чем легче задание, тем выше этот процент. Если только 20% тестируемых (р=0,20) решили задачу, ее можно оценить как трудную для данной выборки, если 80% (р=0,80), – как легкую.
Оценка за выполнение каждого задания может варьироваться в зависимости от его важности и трудности. При выставлении оценки обычно используется номинальная шкала, в рамках которой за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный — ноль. Часто оценку теста определяют при помощи коэффициента усвоения (Q). Он определяется как отношение количества правильных ответов (ПО) к общему количеству заданий (КЗ), умноженное на 100%. Для четырехбалльной системы Q обычно принимают значения:
Оценка «5» – Q = 100%≥90%;
Оценка «4» – Q = 100%≥80%;
Оценка «3» – Q = 100%≥70%.
Литература
- Авапесов В.С. Формы тестовых заданий. М., 1991.
- Аванесов В.С. Композиция тестовых заданий. — М., Центр тестирования, 2002.
- Асямов С.В. Педагогическое тестирование в системе оценки знаний слушателей. – Ташкент, 2006
- Афонина М.В. Педагогический тест: требования к разработки и использованию . – Барнаул: БГПУ, 2006.
- Верин В.А. Как построить тест. – Спб., 1994.
- Градова Н.Ю. Объективно программированный тестовый контроль. –Ярославль, 1989.
- Майоров А.Н. Теория и практика создания тестов для системы образования: Как выбирать, создавать и использовать тесты для целей образования. М: Интеллект-Центр, 2002.
- Морев И. А. Образовательные информационные технологии. Часть 2.Педагогические измерения: Учебное пособие. — Владивосток: Изд-во Дальневост. ун-та, 2004.
- Нейман Ю. М., Хлебников В. А. Педагогическое тестирование как измерение. Ч.1. — М.: Центр тестирования МО РФ, 2002.
- Челышкова М.Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.
- Христовский С.А. Методические основы проектирования электронного учебника // Проектирование образовательных информационных ресурсов, систем и технологий: Сб. докладов и сообщений.- М.: ИЦПКПС, 1998. — 75с.
Методика составления и проведения тестов
Разделы: География
Тесты выполняют одновременно целый ряд функций:
1. Контролирующую;
2. Обучающую;
3. Развивающую;
4. Воспитывающую;
5. Диагностическую;
6. Прогностическую.
Тесты можно использовать как на любом этапе урока, так и так и при изучении нового материала, его закреплении и обобщении и при итоговом контроле.
При изучении нового материала тесты применяются для организации самостоятельной работы учащихся, при этом тестовое задание может не только опираться на знания, полученными учащимися на предыдущих уроках, но иметь поисковый, эвристический, проблемный характер.
При закреплении или проверки текущего материала используются тесты-минутки рассчитанные на 10–15 мин урока и содержащие 5–10 вопросов.
При итоговом контроле тестирование проводится довольно часто, при этом тесты охватывают материал по крупным блокам (определенную тему, раздел). Их выполнение рассчитано на целый урок. Экзаменационный тест должен охватывать материал всего курса географии России в 9 классе или экономической и социальной географии мира в 10–11-х классах. Школьные экзаменационные тесты проводятся, как правило, в течении 2 часов и содержат от 25 до вопросов и заданий.
Тесты пригодны как для фронтальной, так и для групповой и индивидуальной работе учащихся. С помощью тестовых заданий и вопросов значительно проще подобрать материал, для каждого конкретного ученика, соответствующий уровню его развития, возрастным мотивационным особенностям.
Тесты можно использовать не только на уроке в классе, но и в качестве домашнего Задания, в отдельных случаях можно предложить учащимся составить тестовые задания, что научит ребят правильно формулировать вопросы, будет способствовать формированию умений обобщать и анализировать полученные знания применять их на практике.
Методика составления и проведения тестов.
Основными этапами любого тестирования являются:
При всем многообразии тестовых задании можно выделить всего четыре основных группы тестов:
Виды тестов по форме.
Наиболее простыми при составлении и самыми распространенными видами тестовых заданий являются тесты-определители, составленные по принципу вопрос – ответ.
1. Тесты – определители с одним правильным ответом.
Сложность данного типа тестового задания зависит, от количества указанных ответов: два, три и т. д. Например: выделите страну, господствующей религией в которой является ислам: 1. Ангола, 2. Италия, 3. Пакистан, 4. Канада, 5. Перу, 6. Фиджи.
а) выпуск предприятием соответствующей продукции;
6) сосредоточение на одном предприятии технологически последовательно связанных производств;
в) сосредоточение предприятий на одной территории;
г) объединение предприятий с целью производства единой конечной продукции.
Ли6о наоборот: вопросом является определение, а ответом – само понятие. Объединение предприятий с целью производства единой конечной продукции – это:
1. специализация;
2. комбинирование;
3. кооперирование;
4. концентрация.
2. Тесты – определители, где ответы идут с увеличением участвующих объектов, причем обходимо назвать их максимальное количество.
Летом тропические ВМ господствуют:
1) в тропическом климатическом поясе;
2) в тропическом и субтропическом климатических поясах;
3) в тропическом, субтропическом и субэкваториальном климатических поясах.
3. Тесты – определители, где все ответы правильные.
Крупными производителями автомобилей являются:
1) Япония;
2) Западная Европа;
3)США;
4 )все указанные регионы.
4. Тесты – определители, имеющий несколько правильных ответов и указано их количество (один, два, три и т. д.).
В данном списке выделите два региона России, в которых нет городов – миллионеров:
5. Тесты – определители, имеющие несколько правильных ответов, построенные по принципу выделения неправильных ответов, но неуказанно их количество.
Выделите объекты, относящийся к формам рельефа:
1) холм;
2) ветер;
3) песок;
4) равнина;
5) овраг;
6) гранит.
6. Тесты – определители построенные по принципу выделения неправильных ответов, имеют, как правило, в задании какие – либо отрицания.
Выделите объект, не относящийся к Средней Сибири:
1) траппы;
2) Саяны;
3) Таймыр;
4) лиственница;
5) Путорана.
7. Тесты – определители с использованием рисунков, графиков, схем или диаграмм.
На какой из приведенных диаграмм верно указано соотношение суши и воды на Земле:
8. Альтернативные тесты формулируются в виде вопроса – утверждения и требует однозначного ответа “да” или “нет”. Альтернативный тест может содержать один или несколько заданий.
В развитых капиталистических странах ввиду высокого уровня жизни наблюдается высоки естественный прирост населения.
9. Опознавательные тесты, т.е. определение объекта по краткой характеристике, где названы примеры объектов, один из которых правильный.
Определите физико-экономический район России по данной характеристике: занимает большую площадь территории, большая часть которой занята древней платформой, преобладают плоскогорья, особенностью геологического строения являются траппы, на большей части территории климат резко – континентальный, на территории района находится “полюс холода; широко распространены мерзлотно – таежные почвы и лиственничные леса.
1) Русская равнина;
2) Горы Южной Сибири;
3) 3аподно – Сибирская равнина;
4) Средняя и Севере – Восточная Сибирь.
10. Определение объекта по краткой характеристике, ответ необходимо вписать самостоятельно.
По данной характеристике определите страну Европы: внутриконтинентальная страна, федеративная республика, член ЕС, проводит политику постоянного нейтралитета, столица является крупнейшим городом страны.
11. Определение объекта по списку других объектов, где указаны варианты ответов.
По списку типичных животных определите природную зону Африки (Горилла, шимпанзе леопард, карликовый бегемот, окапи, птица – носорог):
1) влажные экваториальные леса;
2) средиземноморская;
3) саванны;
4) пустыни.
12. Определение объекта по списку других объектов без вариантов ответа. По списку приграничных государств определите страну Азии (Исламабад, Пекин, Дакка, Катманду).Ответ:
13. Приведение в соответствие, причем количество вариантов первого первого столбика совпадает с количеством вариантов второго столбика.
Приведите в соответствие горные системы и их геологический возраст:
1)Гималаи 2)Уральские горы 3)Кордильеры |
а) древняя складчатость б) средняя складчатость в) новая складчатость |
14. Приведение в соответствие, причем количество ответов первого столбика не совпадает количеством вариантов второго столбика.
Приведите в соответствие формы рельефа и тектонические структуры:
1)Урал 2)Хибины 3)3аподно-Сибирская равнина 4)Сихоте-Алинь |
а) щит б) молодая платформа в) герцинская складчатость г) мезозойская складчатость |
15. Приведите в соответствие, подразумевающее вариативность правильных ответов.
Приведите в соответствие климатические пояса и характерные для них ВМ:
16. Тесты на приведение в соответствие. В одном из столбиков есть “лишний” вариант. Приведите в соответствие отрасли промышленности и факторы их размещения:
1. гидроэнергетика 2. металлургия алюминия 3. судостроение 4. сахарная промышленность |
а) потребительский б) сырьевой в) энергетический |
17. “Открытые” (или перспективные) тесты.
В отличие от тестовых заданий, предполагающих необходимость самостоятельно вписать верный ответ, в “открытых” тестах в отдельных случаях не “связан” одним верным ответом, а имеет право самостоятельного выбора объектов, отвечающим названным требованиям.
Вставить пропущенные слова. При данной постановке вопроса у тестируемого, как правило нет самостоятельного выбора – необходимо вписать конкретные слова. Вставьте пропущенные слова: Низменность – это вид ______, с ____ высотой до __ метров, (равнины, абсолютной, 2000.)
Самостоятельно вписать примеры – данный вид тестового задания подразумевает полную свободу действий тестируемого.
Назовите три основных государства Азии:
на выбор: Бахрейн, Бруней, Кипр, Мальдивские о-ва, Сингапур, Тайвань, Шри – Ланка, Филиппины, Япония.
18. Тесты связанные с заполнением таблицы без вариантов ответа.
Воздушные массы | Район формирования | Температура и влажность |
Жаркая и влажная | ||
тропические | ||
Умеренные широты над океаном | Лето: Зима: | |
антарктические |
19. Тесты, связанные с заполнением таблицы с вариантами ответов.
Заполните таблицу, используя предложенные варианты ответов:
Страна | Столица | Форма правления | Административно-территориальное устройство |
Канада | |||
Прага | |||
Конституционная монархия | |||
Оман | |||
Конфедерация |
Варианты ответов: Чехия, Швейцария, Норвегия, Маскат, Оттава, Берн, Осло, республика, абсолютная монархия, государство Британского Содружества, унитарное, федеративное.
20. Тесты связанные с заполнением схемы с вариантами ответов.
Заполните схему, используя следующие слова:
1. Мировой океан;
2. болота;
3. ледники;
4. горные;
5. подземные воды;
6. реки;
7. покровные.
8. моря;
9. заливы.
21. Тесты, связанные с заполнением схемы без вариантов ответов.
22. Тестовые задания, требующие выполнение расчетов, с вариантами ответов.
Используя рисунок 60 на странице 96 (Суханов В.П. Физическая география. 6 класс.) или рисунок 80 на странице 144 (Герасимова Т.П. и Неклюкова Н.П. География. Начальный курс.).
Определите, сколько выделится воды, если температура воздуха снизится с 20 С до 10 С при условии, что относительная влажность воздуха равнялась 100%: 1) 9 г; 2) 8 г; 3) 17 г.
23. Тесты, требующие выполнение расчетов без вариантов ответов.
Определите коэффициент увлажнения, если известно, что в городе Н испаряемость равна 31 мм. и в течении года выпадает 488 мм. осадков:
Тесты – классификаторы формулируются в виде набора определенных объектов, и тестируемый должен провести их классификацию по указанному критерию или выбрать критерий классификации самостоятельно. Данный вид теста наиболее удобен для установления внутрипредметных или межпредметных связей.
24. Тесты – классификаторы с указанием классификации.
Разделите горные породы, приведенные в данном списке, на три группы:
а) известняк; б) гранит; в) мрамор; г) базальт; д) туф; е) ракушечник; ж) гнейс; з)галька; и) уголь; к) обсидиан; л) графит; м) доломит.
Проклассифицируйте указанные объекты по природным зонам России и результаты занесите в таблицу: Лиственница, лемминг, ковыль, бурундук, ягель, песец, соболь, дрофа, кедр, кролик.
25. Тесты на самостоятельную классификацию.
Сгруппируйте по языковым семьям народы России:
Русские, карелы, татары, осетины, якуты, украинцы, коми, буряты, башкиры, удмурты.
26. Тесты, проверяющие знания географической карты и географического пространства построенные по принципу альтернативного теста.
В каждой паре подчеркните страну, расположенную севернее:
Норвегия – Дания;
Испания – Бельгия;
Чехия – Венгрия;
Швейцария – Германия.
27. Расставить по порядку.
Распределите горные страны по мере увеличения их высоты:
Гималаи – _____ 4
Уральские –____ 1
Альпы – ________2
Кордильеры – ____3
28. Тесты на установление причинно – следственных связей.
Укажите правильную последовательность причинно – следственных связей:
Развитие земледелия – __________ 4
Агроклиматические ресурсы – ___1
Географическая широта – _______2
Плодородие почв – ____________ 3
29. Тесты по нахождению “лишнего” объекта, где даны критерии ответа.
В данном списке выделите народ, отличающийся от остальных по религиозному признаку: Русские, сербы, грузины, греки, поляки
30. “Лишний” объект – нет критериев ответа.
В данном списке выберите ответ отличающийся от остальных: Гранит, базальт, пемза, обсидиан, мрамор.
Источник
Как составить тест проверки знаний
Алгоритм составления тестов для проверки знаний школьников
Я считаю, что контроль знаний играет ключевую роль в процессе обучения и тесты, как один из методов контроля, требуют очень внимательного и точного подхода. При составлении тестов можно придерживаться определенного алгоритма. И один из таких алгоритмов предлагается ниже.
I) Определение целей тестирования:
· оценка знаний специфических фактов, терминов, понятий;
· проверка умения давать определения, понятия, определять их содержание и объем;
· проверка знания формул, законов, теорий, принципов, методов, умение применить их;
· умение находить сходства и различия;
· умение представлять материал на графиках, схемах, таблицах;
· знание правил методик;
· понимание концепций, теорий и т.д.
II) Определение вида контроля;
III. Выбор формы тестового задания, который зависит от целей тестирования и содержания.
Выделяется два типа тестов:
а) Закрытые, где есть готовые ответы: выбрать правильный ответ из 2,3,4,5 предоставленных альтернативных ответов, установление истинности, ложности, соответствия, установление последовательности.
б) Открытые: которые не имеют готовых ответов, их надо конструировать, самостоятельно дополнить, закончить, составить.
IV) Основным элементом тестовых заданий является инструкция, текст задания и ключ (ответ который находиться у преподавателя).
V) Инструкция определяет характер интеллектуальной деятельности учащегося студентов:
· Должна быть чёткой, понятной для выполнения;
· Выбрать правильный ответ из нескольких предложенных (если правильных ответов несколько, то отметить что ответ может быть не один);
· дополнить, вписать, заполнить, закончить. ;
· упорядочить по величине;
· установить правильную их последовательность;
· определить истинность (ложность) утверждений.
VI. При формулировке теста задания необходимо придерживаться следующих методических советов:
· основной текст задания содержит не более 8-10 слов;
· каждый тест должен выражать одну идею, одну мысль;
· задания должны быть краткими, четкими, легко читаемыми, суждения выражены на доступном языке, лучше иметь утвердительную, а не вопросительную форму;
· формулировка заданий не должна содержать двусмысленностей, а тем более ловушек;
· избегать таких слов как «иногда», «часто», «обычно» в правильных утверждениях и слов «всегда», «иногда», «невозможно» в неправильных;
· располагать тесты по возрастанию трудности;
· каждое задание и ответ формулировать так, чтобы верный ответ могли дать только те, кто хорошо усвоил материал;
· задания сформулировать так чтобы ответы могли быть получены путем рассуждения, а число неверных ответов в первую очередь включать такие, которые являлись результатом типичных ошибок, допускаемых (учениками) студентами;
· правильные ответы должны распределяться в случайном порядке;
· ответы на один вопрос не должны зависеть от ответов на другие вопросы;
· ответы не должны содержать подсказки, быть нелепыми.
VII. Тест должен включать разнообразные тестовые задания по форме,
содержанию, степени сложности и количеству, и достаточно полно охватить материал проверяемой темы.
VIII. Тестовые задания должны быть равноуровневыми по степени сложности:
Х. Время на выполнение каждого задания определяется в зависимости от сложности:
При составлении тестов желательно использовать вопросы и задачи, проверяющие все основные знания и умения в соответствии с программными требованиями. Основная часть задания должна быть ориентирована на проверку достижения учащимися планируемых результатов обучения. В конце задания должны быть вопросы и упражнения, позволяющие проверить способности учащихся применять полученные знания в новой или измененной ситуации [8].
Тесты обеспечивают возможность объективной оценки знаний и умений учащихся в баллах по единым для всех учащихся критериям. Это позволяет определить, кто из учащихся не овладел программным материалом, кто овладел им на минимальном уровне, кто из учащихся полностью и уверенно владеет знаниями и умениями в соответствии с требованиями программы, кто из учащихся не только полностью овладел необходимыми знаниями, но может применить их в новых ситуациях, владеет умениями на более высоком уровне, чем это предусмотрено программой.
1.5 Формирование оценочной шкалы тестового контроля
При создании тестов возникают определенные трудности в части формирования шкалы оценок правильности выполнения заданий учащимися.
Оценка знаний – один из существенных показателей, определяющих степень усвоения учащимися учебного материала, развития мышления, самостоятельности. Оценка должна побуждать учащихся к повышению качества учебной деятельности. В существующих системах тестирования предлагается, что учитель заранее выбирает определенную шкалу оценок, т.е. устанавливает, например, что испытуемый набирает то 31 до 50 баллов, то он получает оценку «отлично», от 25 до 30 баллов – «хорошо», от 20 до 24 – «удовлетворительно», менее 20 – «неудовлетворительно». Очевидно, что при формировании такой шкалы оценок велика доля субъективизма, поскольку здесь многое будет зависеть от опыта, интуиции, компетентности, профессионализма учителя. Кроме того, требования, предъявляемые разными учителями уровню знаний учащихся, колеблются в очень широких пределах.
На сегодня еще часто встречается метод «проб и ошибок» при формировании шкалы оценок. Поэтому реальные знания учащегося не получают объективного отражения [9].
1.6 Требования, предъявляемые к преподавателю при составлении тестовых заданий
При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки успешности овладения определенными учебными дисциплинами или их разделами. Так, необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, действий и т.д.
· Тест не должен быть нагружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая может быть задействована, если в тест включать точные формулировки из учебника или фрагменты из него.
· Задания теста должны быть сформулированы четко, кратко и недвусмысленно, чтобы все учащиеся понимали смысл того, что у них спрашивается.
· Важно проследить, чтобы ни одно задание теста не могло служить подсказкой для ответа на другое.
· Варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа.
· Задачи для тестов должны быть информативными, отрабатывать одно или несколько понятий формулы, определения и т.д. При этом тестовые задачи не могут быть слишком громоздкими или слишком простыми. Это не задачи для устного счета. Вариантов ответов на задачу должно быть, по возможности, не менее пяти. В качестве неверных ответов желательно использовать наиболее типичные ошибки.
1.7 Требования к тестам
Тесты должны удовлетворять определенным требованиям, так как случайно подобранный набор заданий нельзя назвать тестом:
Также очевидно, что одинаковые оценки у каждого из испытуемых получатся и в том случае, если контроль знания таблицы умножения будет проведен по некоторой совокупности заданий дважды, но в разные моменты времени. Приблизительное совпадение рядов оценок в обоих случаях как раз и говорит о надежности комплекта рассматриваемых контрольных заданий, то есть таблицы умножения.
2) Валидность (или адекватность целям проверки):
а) содержательная валидность теста, т.е. задание теста построено на основе только технических учебных элементах, которые изучались учениками или студентами и на той степени абстракции, на которой они излагались. По содержанию тест соответствует образовательному стандарту.
б) функциональная валидность теста, т.е. задания теста соответствуют выявленному уровню усвоения – уровню заданному образовательным стандартом. При составлении задания выделяются существенные несущественные признаки элементов знаний. Существенные признаки закладываются в эталонный ответ. В другие ответы закладываются несущественные признаки с учетом характерных ошибок. Если учащиеся при работе с заданием знают и выделяют существенные признаки, а не формальные, то задание отвечает критерию валидности. Другими словами валидностью контрольного задания называется степенью соответствия своему назначению.
С использованием понятий надежности и валидности контрольных задания можно дать следующие определение:
Дидактическим тестом называется совокупность задания, которые составлено в собирательной форме, предназначены для сравнительной оценки знаний, умений, навыков, способностей, умственного развития и удовлетворяют заданным требованиям надежности и валидности.
После прочтения заданий каждый учащийся понимает, какие действия он должен выполнить, какие знания продемонстрировать. Если учащийся после прочтения задания правильно действует и отвечает менее 70% учащихся, то его необходимо проверить на определенность.
Формулировка заданий и ответы должны быть четкими и краткими.
Показателем простоты является скорость выполнения задания.
Задание должно иметь единственный правильный ответ – эталон.
При составлении тестов в нескольких вариантах равнотрудность определяется стабильностью результатов по вопросам во всех вариантах одного и того же задания.
Общедидактические требования к контролю знаний включают:
С этой точки зрения традиционные средства контроля знаний имеют достаточно много недостатков. К ним относятся, например, следующие:
1) Использование грубой четырех бальной школы оценок;
2) Большие затраты труда и времени на успешные опросы (на коллоквиумах, экзаменах), проверку письменных контрольных и расчетно-графических работ;
3) Низкая оперативность в использовании результатов контроля для управления ходом учебного процесса;
4) Абсолютно неудовлетворительная объективность оценки знаний обучающихся, невозможность сопоставления оценок, полученных или разных обучающих или, тем более, в разных учебных заведениях [10].
Источник
EduNeo
актуальные методики преподавания, новые технологии и тренды в образовании, практический педагогический опыт.
7 лучших сервисов для создания тестов и опросов
Тесты давно стали неотъемлемой частью рабочих будней любого педагога. Раньше приходилось печатать их на бумаге, собирать листочки или тетради у каждого ученика, вручную проверять и анализировать результаты, гадать с ответами из-за почерков…
Сейчас в нашем распоряжении онлайн-сервисы на любой вкус, которые серьезно экономят время и ресурсы. Мы получаем новые возможности: дистанционный сбор ответов, автоматическую оценку результатов, мгновенное редактирование материалов.
Мы выбрали несколько сервисов с большим набором функций для создания и проведения самых разных тестов, викторин и опросов. Некоторые из них полностью бесплатные, у некоторых есть пробные бесплатные версии. Тестируйте и выбирайте то, что подходит вашим учебным задачам.
Madtest
Конструктор для создания квиз-тестов и опросов. Можно создавать тесты как на сайте Meduza.io, больше подойдет для тестирования взрослой аудитории, для медиа и тех, кто размещает тесты и опросы у себя на сайте.
Цена: бесплатный тариф с ограничениями, платный тариф от 1990 рублей в месяц.
Возможности:
На заметку:
Сервис полностью на русском языке, но сами тесты можно делать как на русском, так и на украинском, белорусском, казахском и английском языках.
В бесплатной версии доступно создание не больше 3 квиз-тестов в месяц, не больше 8 вопросов, а так же закрыт доступ к расширенной статистике по прохождениям. Количество прохождений тестов не ограничено, но вы сможете идентифицировать не больше 10 заявок в месяц.
Обзор сервиса Madtest
Каhoot
Цена: 7 дней бесплатно, далее подписка на год – 2 390₽
Возможности:
На заметку:
Приложение полностью на английском языке. Тем, кто владеет языком на начальном уровне, понадобится время, чтобы разобраться с интерфейсом. Тесты и опросы можно создавать на русском языке.
В бесплатной версии для создания тестов доступны только два типа вопросов: с одним верным ответом из четырех и формата «правда/ложь». При покупке расширенной версии вам открываются все типы вопросов и библиотека с миллионами изображений, которые можно добавлять в тесты, чтобы сделать их увлекательными и наглядными.
Socrative
Цена: бесплатно, есть Pro версия за 60$ (при покупке 5 и более учителей одной школы скидки)
Возможности:
На заметку:
Сайт и приложение – на английском языке и полностью идентичны друг другу, легко осваиваются без знания языка. Работают только при наличии интернета.
Learningapps
Цена: бесплатно
Возможности:
На заметку:
В интерфейсе сайта 23 языка. Регистрацию проходит и учитель, и все учащиеся. Это нужно для формирования класса и отправки заданий.
Quizizz
Цена: бесплатно
Возможности:
На заметку:
В настройках приложения меняется язык, есть русский. Приятная графика и звуковые дорожки создают настроение, но не отвлекают. Сайт на английском, простой и понятный в использовании даже, если вы не знаете языка. В приложении и на сайте уже есть готовые викторины по самым разным темам: математика, языки, науки, история, география, искусство и др.
Quizlet
Цена: 7 дней бесплатно, подписка на год – 3 550₽
Возможности:
На заметку:
Приложение на русском языке. Доступно даже в оффлайн. Подходит для запоминания новых терминов и их определений любой дисциплины, но особенно эффективен «способ карточек» для изучения иностранных языков.
!! Будьте внимательны, если не планируете продлить подписку. Деньги снимаются автоматически, если вы не отписались за сутки до окончания ее действия.
Online Test Pad
Это система для создания тестов, опросников, кроссвордов, логических игр и комплексных заданий.
Цена: бесплатный
Возможности:
Минусы:
На заметку: больше подходит для тестирования взрослой аудитории и старших школьников.
Вебинар по созданию тестов + обзор сервисов и работа Online Test Pad. Смотрите запись здесь.
Создание тестов в Google Forms
Возможности сервиса:
На наш взгляд: больше подходит для тестирования взрослой аудитории и старших
школьников.
Наш совет: используйте расширения, чтобы улучшить функционал тестов Google. Например: Flubaroo.
Экспресс-инструкция:
Источник
Цели проведения UX-тестирования от бизнеса к бизнесу отличаются. Кому-то необходимо узнать мнение людей о проблемах использования продукта либо просто посмотреть на прототип в деле. Тогда как вашей целью может быть сбор полезной информации о клиентском опыте, которая поможет вам организовать более эффективный онбординг.
В ходе проведения пользовательского тестирования можно получить разные сведения, главное — задавать правильные вопросы и ставить перед аудиторией осмысленные задачи. И те, и другие должны быть адаптированы для того типа обратной связи, который вам необходим. Если вы хотите провести юзабилити-тест, который требует детальной обратной связи по общему восприятию продукта, выберите открытый тип исследования. Конкретные вопросы придутся весьма кстати, если вам нужно узнать мнение пользователя о новой функции продукта или навигационной структуре.
В этой статье вы найдете несколько советов по тому, как правильно составлять вопросы для пользовательского тестирования. В качестве бонуса в конце материала вашему вниманию предлагаются примеры вопросов, чтобы вы могли приступить к тестированию немедленно!
Содержание статьи
Совет №1: помните о цели, которая стоит за каждым типом вопроса или задания
Цели предварительного тестирования
Цели тестирования
Цели пост-тестирования
Совет №2: имитируйте надежный сценарий при создании хороших тестовых вопросов и задач для пользователей
Совет №3: тестирование не должно быть долгим
Примеры вопросов для тестирования пользователей
1. К какому продукту вы обращаетесь, когда вы сталкиваетесь с… (конкретная проблема)? Почему вы обращаетесь к нему?
2. Почему вы выбрали именно этот сайт или приложение?
3. Заметили ли вы какой-либо другой способ выполнения… (соответствующей задачи)?
4. Что вы думаете о макете сайта? Как его можно улучшить?
5. Насколько вероятно, что вы порекомендуете этот веб-сайт или приложение? Почему?
Заключение
Совет №1: помните о цели, которая стоит за каждым типом вопроса или задания
Каждое пользовательское тестирование должно состоять из трех частей:
предварительное тестирование, тестирование и пост-тестирование.
Цели предварительного тестирования
Цель предварительного тестирования заключается в том, чтобы получить информацию о ее участниках, то есть людях, кто будет взаимодействовать с вашим продуктом или услугой. Эти типы вопросов будут направлены на понимание:
- бэкграунда пользователя (его происхождение, биографию);
Примеры вопросов:
1. Чем вы сейчас занимаетесь?
2. Из скольки человек состоит ваша семья?
- существующего подхода к решению проблемы;
Примеры вопросов:
1. Пользуетесь ли вы продуктом какого-либо бренда, чтобы решить имеющуюся проблему?
2. Пожалуйста, опишите свой опыт работы с этим инструментом.
3. Каковы ваши общие знания о проблеме, которую вы пытаетесь решить: 1) не знаю ничего; 2) знаю немного; 3) я — эксперт.
Цели тестирования
В отличие от вопросов предыдущего этапа, задача вопросов непосредственно самого тестирования заключается в том, чтобы участник, использующий ваш продукт или услугу, смог дать вам исчерпывающее описание того, что в этом продукте его устраивает, а что — нет; что работает так, как заявлено, а что еще вам можно и нужно доработать. Ответы должны помочь понять, как улучшить юзабилити продукта и повысить удовлетворенность клиентов от его использования.
Примеры вопросов и задач
Задача 1: представьте, что вы покупаете подарок на день рождения супруга стоимостью 10 000 рублей.
Вопросы:
1. Если бы вы искали этот подарок, где бы вы ожидали его найти?
2. Что вы думаете о дизайне или макете сайта?
3. Насколько легко или трудно было выполнить эту задачу?
Задача 2: представьте, что вы ищите программу тренировок на укрепление мышц ног.
Вопросы:
1. Каков был опыт использования веб-сайта для выполнения этой задачи?
2. Что вы думаете об используемом стиле текста?
3. Почему вы нажали на… (конкретную кнопку/ссылку на веб-сайте)?
Цели пост-тестирования
Этот набор вопросов предназначен для того, чтобы собрать отзывы участников об общем пользовательском опыте вашего продукта или услуги.
Примеры вопросов:
1. Что вам больше всего понравилось в использовании нашего продукта или услуги?
2. Каково ваше общее впечатление от использования нашего продукта или услуги?
6 советов по сбору, анализу и использованию отзывов клиентов
Совет №2: имитируйте надежный сценарий при создании хороших тестовых вопросов и задач для пользователей
Как побудить участников исследования примерить на себе образ мышления целевого пользователя, то есть выполнять задания так, будто все происходит на самом деле?
Для этого, разрабатывая задачу и моделируя под нее ситуацию, вам нужно держать перед глазами то, через какие страницы сайта пролегает маршрут реального пользователя, имеющего цель купить некий продукт. Разумеется, заранее нужно будет составить подробную карту путешествия клиента.
Целью тестирования может быть сбор исходной информации о продукте или тестирование ее определенной функции. Если вы тестируете последнее, вам нужно будет разработать конкретные задачи, если же первое — нужно остановить выбор на заданиях открытого типа. Оба типа задач позволят избежать сценария, в котором вы даете участнику точные инструкции. Вам нужно, чтобы по большей части они разобрались с задачей самостоятельно: так вы сможете протестировать полезность своего продукта или услуги.
Пример сценария пользовательского тестирования с конкретной задачей:
- откройте приложение для развития осознанности и сделайте запись в журнале благодарности.
Пример сценария пользовательского тестирования с открытой задачей:
- потратьте 10 минут на обзор приложения для изучения иностранных языков, как вы обычно это делаете. Затем скажите пользователю, чего вы от него ожидаете далее. Вы можете добавить пошаговые инструкции, вроде «Теперь вы должны быть на экране входа в систему» или «Теперь вы должны нажать на кнопку… (конкретной функции)». Так они смогут понять, что вы от них хотите и что им нужно делать.
В последующих задачах вы также можете включить конкретные или открытые вопросы. Это позволит пользователю высказать свое мнение о продукте, которое он не мог озвучить при выполнении заданий.
Пример открытого вопроса:
- Какие языки вы ожидаете увидеть в приложении для изучения языков?
Пример конкретного вопроса:
- Вы нашли онбординг приложения полезным? Если нет, то почему?
4 метода разработки вовлекающих клиентских опросов
Совет №3: тестирование не должно быть долгим
Чем длиннее тестирование, тем труднее удержать внимание участника. Если человек проходит тест дистанционно, нет никакой гарантии, что он не откажется от его выполнения из-за большого числа вопросов.
То, как вы будете организовывать процесс, обусловлено тем, что вы тестируете. Если это интерфейс продукта, то все свои идеи вы можете проверить одним тестом. Но если вы хотите подвергнуть испытанию свой новый продукт целиком, возможно, будет лучше организовать отдельные пользовательские тесты для каждой точки путешествия пользователя. Например, если основной целью участника является покупка товара из вашего нового интернет-магазина, вам могут понадобиться четыре теста:
- чтобы определить, годится ли навигация и макет сайта для комфортного достижения обозначенной цели;
- чтобы понять, способна ли нужная страница продукта конвертировать их в клиентов;
- чтобы узнать, является ли страница оформления заказа простой в использовании;
- чтобы выяснить, достаточно ли убедительно письмо с подтверждением заказа для совершения повторной покупки?
8 мифов, которые подрывают репутацию UX-тестирования
Примеры вопросов для тестирования пользователей
1. К какому продукту вы обращаетесь, когда вы сталкиваетесь с… (конкретная проблема)? Почему вы обращаетесь к нему?
Этот пример открытого вопроса идеален для компаний, которые все еще находятся в поиске соответствия продукта рынку (product-market fit). Ответ позволит также получить дополнительную информацию о существующих конкурентах, выяснить, что для их бренда идет на пользу, а что нет.
2. Почему вы выбрали именно этот сайт или приложение?
Этот вопрос относится к разряду тех, которые помогут вам обнаружить участников, способных вполне доходчиво объяснить, насколько полезен ваш продукт и какие его функции они больше всего ценят.
В дополнение к этому вопросу вы можете также поинтересоваться, когда именно участник начал пользоваться вашим продуктом или услугой. Сохранив контактные данные пользователей и их ответы, вы сформируете базу участников для следующего тестирования, в ходе которого сможете разделить всех пользователей на две группы — группу новых пользователей и более опытных. Такая сегментация позволит вам изучить особенности работы с вашим приложением разных категорий пользователей.
3. Заметили ли вы какой-либо другой способ выполнения… (соответствующей задачи)?
Вопрос позволит понять, насколько предлагаемый вами способ использования продукта или услуги удобен и прост, и не нашли ли участники более комфортный вариант решения поставленной задачи. С помощью этого вопроса вы сможете собрать предложения по улучшению продукта.
4. Что вы думаете о макете сайта? Как его можно улучшить?
Этот вопрос поможет вам собрать предложения по улучшению дизайна сайта. Если участник считает сложным найти на сайте конкретный фрагмент информации, возможно, вам стоит пересмотреть организацию контента.
5. Насколько вероятно, что вы порекомендуете этот веб-сайт или приложение? Почему?
- скорее всего
- возможно
- вряд ли
- крайне маловероятно
- затрудняюсь ответить
А с помощью этого вопроса вы сможете измерить общий уровень удовлетворенности вашим продуктом. Последующей просьбой объяснить свою позицию вы сможете понять, в чем причина такого отношения.
8 лучших инструментов сбора обратной связи для SaaS-компаний
Заключение
Информация, полученная в результате такого рода исследования, поможет вам понять, как реальные пользователи оценивают ваш продукт или услугу, проста ли ваша навигационная структура в использовании и достаточно ли ясен ваш онбординг.
Очень важно посвятить достаточно времени и сил на разработку подходящих вопросов и задач, естественных сценариев использования продукта, которые побудят участников раскрыться. В результате вы сможете получить реальные данные и разрабатывать еще более качественные продукты.
Подписывайтесь на нашу группу в фейсбуке и канал в телеграм, чтобы следить за обновлениями.
Прокачайте свой онбординг!
По материалам: playbookux.com
Тесты выполняют одновременно целый ряд функций:
1. Контролирующую;
2. Обучающую;
3. Развивающую;
4. Воспитывающую;
5. Диагностическую;
6. Прогностическую.
Тесты можно использовать как на любом этапе урока, так и так и при изучении
нового материала, его закреплении и обобщении и при итоговом контроле.
При изучении нового материала тесты применяются для организации
самостоятельной работы учащихся, при этом тестовое задание может не только
опираться на знания, полученными учащимися на предыдущих уроках, но иметь
поисковый, эвристический, проблемный характер.
При закреплении или проверки текущего материала используются тесты-минутки
рассчитанные на 10–15 мин урока и содержащие 5–10 вопросов.
При итоговом контроле тестирование проводится довольно часто, при этом тесты
охватывают материал по крупным блокам (определенную тему, раздел). Их выполнение
рассчитано на целый урок. Экзаменационный тест должен охватывать материал всего
курса географии России в 9 классе или экономической и социальной географии мира
в 10–11-х классах. Школьные экзаменационные тесты проводятся, как правило, в
течении 2 часов и содержат от 25 до вопросов и заданий.
Тесты пригодны как для фронтальной, так и для групповой и индивидуальной
работе учащихся. С помощью тестовых заданий и вопросов значительно проще
подобрать материал, для каждого конкретного ученика, соответствующий уровню его
развития, возрастным мотивационным особенностям.
Тесты можно использовать не только на уроке в классе, но и в качестве
домашнего Задания, в отдельных случаях можно предложить учащимся составить
тестовые задания, что научит ребят правильно формулировать вопросы, будет
способствовать формированию умений обобщать и анализировать полученные знания
применять их на практике.
Методика составления и проведения тестов.
Основными этапами любого тестирования являются:
- Целеполагание т.е постановка конкретных целей перед тестированием и
понятных учащимся. - Подготовка и сбор информации для составления теста, соответствующей
школьной программе, учебникам и пройденному материалу. - Разработка и конструирование теста, т.е. выбор определенных видов
тестовых вопросов и заданий с учетом определенных требований:
надежность, точность, лаконичность;
недопустимость применения двусмысленных вопросов;
использование дополнительной литературы, энциклопедий, справочников для
составления тестов и их решения допустимо лишь для специализированных
классов и школ, а также для индивидуальной работы с сильными учащимися. - Подготовка участников тестирования заключается в мотивации, настрое и
тренинге. - Непосредственно тестирование должно стать одним из видов учебной
деятельности учащихся. - После проведения тестирования наступает обработка теста, т.е. проверка с
помощью ключа - Итогом результатов тестирования должен стать анализ результатов.
- Публикация результатов тестирования. Учащиеся должны быть ознакомлены с
результата тестирования, они должны быть допущены к просмотру выполненных
работ и имеют право на апелляцию.
При всем многообразии тестовых задании можно выделить всего четыре основных
группы тестов:
- задание на выбор правильного ответа;
- приведение в соответствие или классификацию объектов;
- расположение объектов в определенном порядке;
- “открытые” тесты, где необходимо вписать “пропущенные” слова.
Виды тестов по форме.
Наиболее простыми при составлении и самыми распространенными видами тестовых
заданий являются тесты-определители, составленные по принципу вопрос – ответ.
1. Тесты – определители с одним правильным ответом.
Сложность данного типа тестового задания зависит, от количества указанных
ответов: два, три и т. д. Например: выделите страну, господствующей религией в
которой является ислам: 1. Ангола, 2. Италия, 3. Пакистан, 4. Канада, 5. Перу,
6. Фиджи.
Кооперирование – это:
а) выпуск предприятием соответствующей продукции;
6) сосредоточение на одном предприятии технологически последовательно связанных
производств;
в) сосредоточение предприятий на одной территории;
г) объединение предприятий с целью производства единой конечной продукции.
Ли6о наоборот: вопросом является определение, а ответом – само понятие.
Объединение предприятий с целью производства единой конечной продукции – это:
1. специализация;
2. комбинирование;
3. кооперирование;
4. концентрация.
2. Тесты – определители, где ответы идут с увеличением участвующих объектов,
причем обходимо назвать их максимальное количество.
Летом тропические ВМ господствуют:
1) в тропическом климатическом поясе;
2) в тропическом и субтропическом климатических поясах;
3) в тропическом, субтропическом и субэкваториальном климатических поясах.
3. Тесты – определители, где все ответы правильные.
Крупными производителями автомобилей являются:
1) Япония;
2) Западная Европа;
3)США;
4 )все указанные регионы.
4. Тесты – определители, имеющий несколько правильных ответов и указано их
количество (один, два, три и т. д.).
В данном списке выделите два региона России, в которых нет городов –
миллионеров:
- Центральный;
- Дальневосточный;
- Западно-Сибирский;
- Центрально-Черноземный;
- Волго-Вятский;
- Северо-Кавказский.
5. Тесты – определители, имеющие несколько правильных ответов, построенные по
принципу выделения неправильных ответов, но неуказанно их количество.
Выделите объекты, относящийся к формам рельефа:
1) холм;
2) ветер;
3) песок;
4) равнина;
5) овраг;
6) гранит.
6. Тесты – определители построенные по принципу выделения неправильных
ответов, имеют, как правило, в задании какие – либо отрицания.
Выделите объект, не относящийся к Средней Сибири:
1) траппы;
2) Саяны;
3) Таймыр;
4) лиственница;
5) Путорана.
7. Тесты – определители с использованием рисунков, графиков, схем или
диаграмм.
На какой из приведенных диаграмм верно указано соотношение суши и воды на
Земле:
8. Альтернативные тесты формулируются в виде вопроса – утверждения и требует
однозначного ответа “да” или “нет”. Альтернативный тест может содержать один или
несколько заданий.
В развитых капиталистических странах ввиду высокого уровня жизни наблюдается
высоки естественный прирост населения.
1)да; 2)нет.
9. Опознавательные тесты, т.е. определение объекта по краткой характеристике,
где названы примеры объектов, один из которых правильный.
Определите физико-экономический район России по данной характеристике:
занимает большую площадь территории, большая часть которой занята древней
платформой, преобладают плоскогорья, особенностью геологического строения
являются траппы, на большей части территории климат резко – континентальный, на
территории района находится “полюс холода; широко распространены мерзлотно –
таежные почвы и лиственничные леса.
1) Русская равнина;
2) Горы Южной Сибири;
3) 3аподно – Сибирская равнина;
4) Средняя и Севере – Восточная Сибирь.
10. Определение объекта по краткой характеристике, ответ необходимо вписать
самостоятельно.
По данной характеристике определите страну Европы: внутриконтинентальная
страна, федеративная республика, член ЕС, проводит политику постоянного
нейтралитета, столица является крупнейшим городом страны.
——————————————————————————————————–
Ответ: Австрия
11. Определение объекта по списку других объектов, где указаны варианты
ответов.
По списку типичных животных определите природную зону Африки (Горилла,
шимпанзе леопард, карликовый бегемот, окапи, птица – носорог):
1) влажные экваториальные леса;
2) средиземноморская;
3) саванны;
4) пустыни.
12. Определение объекта по списку других объектов без вариантов ответа.
По списку приграничных государств определите страну Азии (Исламабад, Пекин,
Дакка, Катманду).Ответ:
–———————————————————————————————————-
Ответ: Индия
13. Приведение в соответствие, причем количество вариантов первого первого
столбика совпадает с количеством вариантов второго столбика.
Приведите в соответствие горные системы и их геологический возраст:
1)Гималаи 2)Уральские горы 3)Кордильеры |
а) древняя складчатость б) средняя складчатость в) новая складчатость |
Ответ: 1-в; 2-а; З-б
14. Приведение в соответствие, причем количество ответов первого столбика не
совпадает количеством вариантов второго столбика.
Приведите в соответствие формы рельефа и тектонические структуры:
1)Урал 2)Хибины 3)3аподно-Сибирская равнина 4)Сихоте-Алинь |
а) щит б) молодая платформа в) герцинская складчатость г) мезозойская складчатость |
Ответ: 1-в;2-а;3-б;4-д
15. Приведите в соответствие, подразумевающее вариативность правильных
ответов.
Приведите в соответствие климатические пояса и характерные для них ВМ:
1 .экваториальный 2. субэкваториальный 3. тропический 4. субтропический |
а) тропические б) умеренные в) субэкваториальные г) экваториальные |
Ответ: 1– а;2-а;3-а;4-а,б
16. Тесты на приведение в соответствие. В одном из столбиков есть “лишний”
вариант. Приведите в соответствие отрасли промышленности и факторы их
размещения:
1. гидроэнергетика 2. металлургия алюминия 3. судостроение 4. сахарная промышленность |
а) потребительский б) сырьевой в) энергетический |
Ответ: 1-б;2-г;3-а;4-б
17. “Открытые” (или перспективные) тесты.
В отличие от тестовых заданий, предполагающих необходимость самостоятельно
вписать верный ответ, в “открытых” тестах в отдельных случаях не “связан” одним
верным ответом, а имеет право самостоятельного выбора объектов, отвечающим
названным требованиям.
Вставить пропущенные слова. При данной постановке вопроса у тестируемого, как
правило нет самостоятельного выбора – необходимо вписать конкретные слова.
Вставьте пропущенные слова: Низменность – это вид ______, с ____ высотой до __
метров, (равнины, абсолютной, 2000.)
Самостоятельно вписать примеры – данный вид тестового задания подразумевает
полную свободу действий тестируемого.
Назовите три основных государства Азии:
———————————————————————————————–
—————————————————————————————————-
на выбор: Бахрейн, Бруней, Кипр, Мальдивские о-ва, Сингапур, Тайвань, Шри –
Ланка, Филиппины, Япония.
18. Тесты связанные с заполнением таблицы без вариантов ответа.
Заполните таблицу:
Воздушные массы | Район формирования | Температура и влажность |
Жаркая и влажная | ||
тропические | ||
Умеренные широты над океаном | Лето: Зима: | |
антарктические |
19. Тесты, связанные с заполнением таблицы с вариантами ответов.
Заполните таблицу, используя предложенные варианты ответов:
Страна | Столица | Форма правления | Административно-территориальное устройство |
Канада | |||
Прага | |||
Конституционная монархия | |||
Оман | |||
Конфедерация | |||
Варианты ответов: Чехия, Швейцария, Норвегия, Маскат, Оттава, Берн, Осло,
республика, абсолютная монархия, государство Британского Содружества, унитарное,
федеративное.
20. Тесты связанные с заполнением схемы с вариантами ответов.
Заполните схему, используя следующие слова:
1. Мировой океан;
2. болота;
3. ледники;
4. горные;
5. подземные воды;
6. реки;
7. покровные.
8. моря;
9. заливы.
21. Тесты, связанные с заполнением схемы без вариантов ответов.
Заполните схему:
22. Тестовые задания, требующие выполнение расчетов, с вариантами ответов.
Используя рисунок 60 на странице 96 (Суханов В.П. Физическая география. 6
класс.) или рисунок 80 на странице 144 (Герасимова Т.П. и Неклюкова Н.П.
География. Начальный курс.).
Определите, сколько выделится воды, если температура воздуха снизится с 20 С до
10 С при условии, что относительная влажность воздуха равнялась 100%: 1) 9 г; 2)
8 г; 3) 17 г.
23. Тесты, требующие выполнение расчетов без вариантов ответов.
Определите коэффициент увлажнения, если известно, что в городе Н испаряемость
равна 31 мм. и в течении года выпадает 488 мм. осадков:
Ответ 1,3
Тесты – классификаторы.
Тесты – классификаторы формулируются в виде набора определенных объектов,
и тестируемый должен провести их классификацию по указанному критерию или
выбрать критерий классификации самостоятельно. Данный вид теста наиболее удобен
для установления внутрипредметных или межпредметных связей.
24. Тесты – классификаторы с указанием классификации.
Разделите горные породы, приведенные в данном списке, на три группы:
а) известняк; б) гранит; в) мрамор; г) базальт; д) туф; е) ракушечник; ж) гнейс;
з)галька; и) уголь; к) обсидиан; л) графит; м) доломит.
Осадочные:
————– |
Метаморфические:
——————- |
Магматические:
—————— |
Проклассифицируйте указанные объекты по природным зонам России и результаты
занесите в таблицу: Лиственница, лемминг, ковыль, бурундук, ягель, песец,
соболь, дрофа, кедр, кролик.
25. Тесты на самостоятельную классификацию.
Сгруппируйте по языковым семьям народы России:
Русские, карелы, татары, осетины, якуты, украинцы, коми, буряты, башкиры,
удмурты.
А | Б | В | Г |
———– ———– ———– |
———- ———- ———- |
———- ———- ———- |
———- ———- ———- |
26. Тесты, проверяющие знания географической карты и географического
пространства построенные по принципу альтернативного теста.
В каждой паре подчеркните страну, расположенную севернее:
Норвегия – Дания;
Испания – Бельгия;
Чехия – Венгрия;
Швейцария – Германия.
27. Расставить по порядку.
Распределите горные страны по мере увеличения их высоты:
Гималаи – _____ 4
Уральские –____ 1
Альпы – ________2
Кордильеры – ____3
28. Тесты на установление причинно – следственных связей.
Укажите правильную последовательность причинно – следственных связей:
Развитие земледелия – __________ 4
Агроклиматические ресурсы – ___1
Географическая широта – _______2
Плодородие почв – ____________ 3
29. Тесты по нахождению “лишнего” объекта, где даны критерии ответа.
В данном списке выделите народ, отличающийся от остальных по религиозному
признаку: Русские, сербы, грузины, греки, поляки
30. “Лишний” объект – нет критериев ответа.
В данном списке выберите ответ отличающийся от остальных: Гранит, базальт,
пемза, обсидиан, мрамор.