Как составить цели теста

Создание теста: основы, советы и инструменты для эффективной проверки знаний

Проведение тестирований — это замечательным инструментом для проверки знаний и оценки уровня понимания как в учебных заведениях, так и на рабочем месте. В данной статье мы поговорим о принципах создания тестов, предложим советы и упомянем полезные инструменты для их разработки.

1. Определите цель теста

Прежде чем начать создавать тест, определите его цель. Что вы хотите измерить: знание фактов, способность решать задачи или уровень понимания материала? В зависимости от цели теста выберите подходящий тип вопросов и метод оценки.

2. Выбор типа вопросов

Существует несколько типов вопросов, которые можно использовать в тесте:

• Множественный выбор: предлагает один или несколько правильных ответов из предложенных вариантов. Этот тип вопроса идеален для измерения знаний фактов и основных понятий.

• Верно/неверно: требует определить, является ли утверждение верным или неверным. Используйте этот тип вопроса для проверки понимания основных принципов или идей.

• Открытый вопрос: предлагает написать свой ответ, что позволяет проверить глубину понимания материала и способность анализировать информацию.

• Соответствие: заключается в сопоставлении элементов из двух списков. Этот тип вопроса хорошо подходит для проверки знаний терминов, определений или событий.

• Расположение в порядке: требует расположить элементы в определенном порядке. Используйте этот тип вопроса для проверки знаний последовательности событий или процессов.

3. Разнообразие вопросов.

Используйте разнообразные типы вопросов в тесте, чтобы проверить разные аспекты знаний и понимания. Это также поможет удержать внимание и интерес тестируемых. Варьируйте сложность вопросов, чтобы оценить глубину понимания материала.

4. Четкость формулировок

Сформулируйте вопросы и ответы четко и однозначно. Избегайте двусмысленности и сложных конструкций, которые могут сбить с толку тестируемых. Проверьте, чтобы правильный ответ был ясным и не вызывал сомнений.

5. Баланс сложности

Создавая тест, старайтесь сбалансировать его сложность. Включите как простые, так и сложные вопросы, чтобы оценить знания на разных уровнях. Это также поможет поддержать мотивацию тестируемых, поскольку слишком простой или сложный тест может вызвать потерю интереса.

6. Разработка шкалы оценки

Определите, каким образом будет оцениваться тест. Можно использовать классическую шкалу оценки (от 0 до 100) или же разработать свою собственную систему, например, с использованием баллов, звезд или процентов. Сделайте систему оценки понятной и легкой для интерпретации.

7. Тестирование и отладка

Перед внедрением теста, проведите его тестирование среди небольшой группы людей. Это позволит выявить возможные проблемы ошибки или неоднозначности в вопросах и ответах. По результатам тестирования внесите корректировки и улучшения в тест.

8. Обратная связь

Предусмотрите возможность получения обратной связи от тестируемых. Это поможет узнать их мнение о сложности теста, его релевантности и интересности. Обратная связь позволит улучшить тест и сделать его более эффективным.

9. Использование онлайн‑инструментов для создания тестов

Ниже приведен обзор трех популярных онлайн‑сервисов для создания тестов:

1. Google Forms:

   Google Forms — это один из наиболее популярных и бесплатных сервисов для создания тестов. Он предоставляет возможность создавать как простые, так и сложные тесты, опросы и анкеты. Google Forms имеет простой интерфейс, который позволяет быстро создавать тесты, добавлять вопросы и настраивать различные параметры теста. Он также позволяет автоматически собирать и анализировать результаты тестирования в таблицах Google Sheets.

2. Testograf:

   Testograf — это онлайн‑сервис для создания тестов, который предоставляет широкий набор функций и возможностей. Он позволяет создавать различные типы вопросов, в том числе множественный выбор, соотнесение, тест на время и другие. Testograf также позволяет настраивать параметры теста, такие как время на прохождение, число попыток и другие. Он также позволяет создавать тесты на различных языках.

3. QuizMaker:

   QuizMaker — это другой онлайн‑сервис для создания тестов. Он предлагает множество функций, включая создание различных типов вопросов, таких как множественный выбор, верно/неверно, соотнесение, соединение и другие. QuizMaker также позволяет добавлять изображения и видео к тестам, настраивать параметры теста, такие как время на прохождение, и создавать тесты на разных языках. QuizMaker также предлагает широкий выбор шаблонов дизайна для тестов.

Эти три сервиса являются популярными и имеют широкий набор функций и возможностей для создания тестов. В зависимости от ваших потребностей и предпочтений, вы можете выбрать любой из этих сервисов для создания своих тестов.

Создание теста может быть эффективным инструментом для проверки знаний и умений в различных областях. Следуйте приведенным советам и рекомендациям для создания качественных тестов, которые будут интересными и полезными для тестируемых. Не забывайте использовать доступные онлайн‑инструменты, чтобы сэкономить время и упростить процесс создания тестов.

Каплун О. А. Определение целей проведения тестирования для правильной интерпретации его результатов / О. А. Каплун, А. И. Лаврищев // Научный диалог. — 2018. — № 7. — С. 320—330. — DOI: 10.24224/2227-1295-2018-7-320-330.

Kaplun, O. A., Lavrishchev, A. I. (2018). Defining the Objectives of Testing for Correct Interpretation of Its Results. Nauchnyy dialog, 7: 320-330. DOI: 10.24224/2227-1295-2018-7-320330. (In Russ.).

ERIHdW

Журнал включен

EBSCOfrast

Перечень ВАК

и L R I С H’S PERIODICALS DIRECTORY..

УДК 378.146

DOI: 10.24224/2227-1295-2018-7-320-330

Определение целей проведения тестирования для правильной интерпретации его результатов

© Каплун Ольга Александровна (2018), orcid.org/0000-0002-8898-2007, кандидат педагогических наук, доцент кафедры иностранных языков, институт иностранных языков, ФГБОУ ВО «Орловский государственный университет им. И. С. Тургенева» (Орел, Россия), sunny21@inbox.ru

© Лаврищев Александр Игоревич (2018), orcid.org/0000-0002-6170-6192, кандидат педагогических наук, доцент кафедры иностранных языков, институт иностранных языков, ФГБОУ ВО «Орловский государственный университет им. И. С. Тургенева» (Орел, Россия), algumkaf@yandex.ru.

Рассматривается один из важнейших этапов разработки теста — этап целепо-лагания. В качестве исследовательской задачи авторами была определена оценка изученности проблемы целеполагания в педагогической литературе и литературе по тестологии. Авторы доказывают, что от результатов этапа целеполагания зависит качество содержания теста. Также утверждается идея о том, что определение целей проведения тестирования важно для правильной интерпретации его результатов. На основе анализа литературы по тестологии авторы приходят к выводу о том, что, создавая тест, разработчик ставит перед собой задачу отобразить в его содержании то главное, что должны знать обучающиеся в результате обучения, а для этого необходимо структурировать цели проведения тестового контроля. Дается описание различных видов целей обучения. Перечислены выделенные разными исследователями уровни усвоения знаний. Даются рекомендации для правильного формулирования целей тестирования. Уделяется внимание тем знаниям, умениям, навыкам и усвоенным способам деятельности, которые можно проверить с помощью тестов. Авторы статьи приходят к выводу, что определение целей проведения тестирования необходимо для того, чтобы прояснить, какие результаты обучающихся будут оцениваться с помощью теста.

Ключевые слова: тестовый контроль; целеполагание; таксономия целей; когнитивные цели; аффективные цели; психомоторные цели; уровни усвоения знаний.

1. Целеполагание как важный этап разработки теста

Современный учебный процесс в высших учебных заведениях нельзя представить без системы тестового контроля. В учебно-методической литературе за последние годы появилось множество публикаций, посвященных технологии создания тестов для проверки уровня сформированности общекультурных и профессиональных компетенций по разным учебным дисциплинам. Первым и наиболее важным этапом разработки теста является определение целей и задач диагностики. От результатов этапа це-леполагания зависит качество содержания теста. Знание того, для какой цели используется тестирование, является основой для правильной оценки и интерпретации результатов проведения диагностики. Отсутствие четко поставленных целей может привести к возникновению ошибок в результатах тестирования.

М. Б. Челышкова отмечает, что в процессе целеполагания необходимо определить, какие результаты обучающихся (способности, знания, умения, навыки) будут оцениваться с помощью теста [Челышкова, 2002, с. 83]. Создавая тест, разработчик ставит перед собой задачу включить в тест наиболее важную информацию, которую обучающиеся должны усвоить, так как все результаты обучения одновременно проверить невозможно. Цели необходимо классифицировать, разработать их иерархию.

2. Таксономия (классификация) целей обучения

Проблемой выделения различных целей обучения занимались многие отечественные и зарубежные исследователи. Они пытались создать свои иерархические модели целей обучения. Одной из первых таких моделей является модель целей Б. С. Блума [Bloom, 1956], которую многие исследователи считают наиболее технологичной. Ученый выделил следующие три группы целей обучения: когнитивные (познавательные), аффективные (эмоциональные) и психомоторные.

Когнитивные цели делятся на следующие категории:

1) знание (запоминание и воспроизведение фактов, понятий, их определений, правил и закономерностей);

2) понимание (усвоение материала, способность к его преобразованию из одной формы в другую и интерпретации, высказыванию предположений о дальнейшем развитии событий);

3) применение (умение применять методы, приемы и правила в типовых ситуациях и новых условиях);

4) анализ (умение определять структуру учебного материала, выделять ее составные элементы и взаимосвязи между ними);

5) синтез (умение объединять элементы в целое, имеющее новизну);

6) оценка (умение оценить глубину и полноту знания материала на основе определенных критериев).

Умения в аффективной области отражают то, как обучающийся реагирует эмоционально, насколько он способен сопереживать, реагируя на чужие боль, огорчение, разочарование.

Умения в психомоторной области определяют способность использовать различные инструменты и орудия.

В 90 годы XX века многие ученые критиковали таксономию Б. С. Блу-ма, так как в ней в качестве целей обучения выступали и результаты обучения, и мыслительные операции, которые требуются для достижения этих результатов. Эта модель целей обучения была слишком упрощенной, в ней не использовались достижения современной теории обучения, а также отсутствовала взаимосвязь между составными элементами таксономии.

К. Биггс и Д. Коллис предложили свою модель целей обучения, которая основывалась на классификации уровней познавательной деятельности: от воспроизведения фактов и простейших алгоритмов действий с изучаемым материалом до разнообразных интеллектуальных и практических умений [Biggs et al., 1982].

М. В. Кларин [Кларин, 1994] дал более полное описание целей:

1. КогнитивныЕ цели:

1) з н а н и е : эта цель предполагает запоминание (запечатление в памяти обучающегося воспринятой им информации, установление связей между новой информацией и той, что имеется в его памяти), сохранение в памяти и последующее припоминание и воспроизведение усвоенной информации (основных терминов, определений понятий, правил, теорий и т. д.);

2) понимание подразумевает, что обучающийся понимает смысл изучаемого учебного материала, может преобразовать его из вербальной формы представления в наглядную и наоборот), интерпретировать его, высказать свою точку зрения, прогнозы и ожидания по поводу изученного;

3) применение предполагает использование изученного материала (понятий, закономерностей, принципов, методов и технологий) в новых ситуациях;

4) анализ: данная категория цели предполагает умение разделить материал на составные части так, чтобы была видна его структура, определить взаимосвязи между составными частями и принципы, по которым образуется единое целое из частей;

5) синтез: эта цель требует умения комбинировать составные элементы, чтобы получить целое. Обучающийся пишет эссе, творческое сочинение, сообщение, доклад, разрабатывает план своего исследования, применяет усвоенные им в разных областях науки знания, умения и навыки для решения поставленной задачи;

6) оценка означает определение значимости усвоенного материала. Мнение обучающегося должно складываться на основе внутренних (структурных) или внешних (соответствие поставленной цели) критериев, в зависимости от которых обучающийся дает свою оценку изучаемому материалу и его значимости, соответствию выводов приведенным фактам и доказательствам.

2. Аффективные цели:

1) восприятие: эта категория цели обозначает способность обучающегося правильно воспринимать те или иные явления. Сюда входят следующие субкатегории: осознание, готовность воспринимать и избирательное внимание. Обучающийся осознает важность обучения, внимательно слушает высказывания преподавателя и других студентов в аудитории, проявляет интерес к культурной и общественной жизни, умеет слушать других людей и сопереживать им;

2) реагирование (отклик): эта цель означает ответную реакцию самого обучающегося. Субкатегориями здесь являются подчиненный отклик, добровольный отклик и удовлетворение от реагирования. Обучающийся выполняет домашние задания, подчиняется определенным правилам поведения в школе (вузе), активно участвует в жизни класса (группы), следит за событиями общественно-политической жизни общества и международными проблемами, у него проявляется интерес к определенным дисциплинам и учебе в целом;

3) усвоение ценностной ориентации: эта цель предполагает изучение разных точек зрения, высказывание своего мнения, своего отношения к различным фактам, предметам и видам деятельности, а также убежденность в правильности своих взглядов;

4) организация ценностной ориентации предполагает осмысление обучающимся различных ценностных ориентаций, построение из них единого целого и формирование собственной системы ценностей, исходя из своих интересов, предпочтений и взглядов;

5) распространение ценностной ориентации на деятельность: эта цель показывает, как усвоенные ценностные ориентации влияют на поведение обучающегося. Чтобы достичь этой цели, обучающийся должен проявлять самостоятельность в обучении, стремиться к со-

трудничеству и дискуссии в обсуждении важных проблем, он должен быть готовым пересмотреть свои взгляды и изменить свое поведение, а также сформировать сове жизненное кредо.

3. Уровневый подход к описанию учебных достижений обучающихся

При планировании содержания тестов можно опираться на уровневый подход к описанию учебных достижений обучающихся. Б. С. Иванов выделил шесть уровней усвоения знаний и овладения учебным материалом:

1) узнавание, различение и воспроизведение (знакомство с учебным материалом на основе повторного его восприятия);

2) понимание (способность к рассуждению по аналогии с уже известной информацией, преобразование учебного материала из вербальной формы в наглядную и наоборот, интерпретация изученной информации);

3) применение (способность решать нетиповые задачи и использовать изученную информацию в ситуациях, приближенных к практической деятельности в реальной жизни);

4) анализ (умение выделить составные части в изучаемом учебном материале);

5) синтез (умение соединять составные учебного материала в единое целое);

6) оценка (умение определять ценность какой-либо информации для определенной цели) [Иванов, 2005, с. 22—24].

В. П. Беспалько, К. А. Иванова, Н. П. Петренко и А. П. Дмитриева [Беспалько, 1970; Беспалько, 1977; Иванова, 1976] дают характеристику пяти уровней усвоения учебного материала: понимание, узнавание (ученический уровень), репродуктивное действие (алгоритмический уровень), продуктивное действие (эвристический уровень) и творческое действие (творческий уровень).

На первом уровне понимания обучающийся сравнивает новую информацию с имеющейся в его памяти и выполняет действие «подведение под понятие».

На уровне узнавания (ученический уровень) обучающийся выполняет репродуктивные действия, опираясь на свою память, подсказки, инструкции, алгоритмы и описания действия, самостоятельно воспроизводя правила действия.

Достигнув уровня репродуктивного действия (алгоритмического уровня), обучающийся может воспроизвести по памяти и применить на практике усвоенный учебный материал для решения типовых задач, используя определенный алгоритм действия.

На уровне продуктивного действия (эвристический уровень) обучающийся способен использовать приобретенные знания и умения для решения нетиповых задач в реальных ситуациях для создания новой для обучающегося информации об изучаемых предметах и явлениях.

Характеристикой уровня творческого действия (творческого уровня) служит способность обучающегося использовать приобретенные знания, умения и навыки для создания новой информации, не известной ранее никому.

4. Цели проведения тестирования

По мнению Е. М. Борисовой, К. М. Гуревича и С. П. Суворова [Психологическая диагностика, 1977; Суворов, 1970], целями проведения тестирования могут быть:

— размещение (распределение) обучающихся по группам исходя из уровня их знаний, сформированности у них определенных умений и навыков, а также разделение обучающихся одной группы по тем же принципам для организации дифференцированного обучения. Результаты теста, используемого для цели размещения, показывают место обучающегося в группе. Такой тест должен иметь высокую степень надежности, а его задания должны обладать большой различающей способностью, то есть в тесте должны преобладать задания, которые смогут правильно решить только те обучающиеся, которые хорошо знают данный учебный предмет;

— диагностика: диагностические тесты используются, если необходимо определить причины плохой успеваемости, выявить пробелы в знаниях отдельных обучающихся для того, чтобы внести изменения в систему работы над определенными разделами программы, организовать самостоятельную работу или дополнительные занятия для слабых обучающихся;

— определение результатов обучения: в этом случае обучающиеся проходят тестирование перед началом и в конце определенного этапа обучения. Результаты повторного тестирования показывают степень успеха обучающихся в овладении определенным материалом, степень сформиро-ванности у них определенных умений, навыков и компетенций, а также могут служить показателями необходимости внесения определенных изменений в учебные программы, методы обучения и организацию учебного процесса и самостоятельной работы обучающихся;

— прогнозирование вероятного успеха в овладении той или иной дисциплиной: при этом обучающиеся могли ранее изучать данный учебный предмет, и прогноз вероятного успеха в будущем строится на основе успехов в изучении этой дисциплины ранее. Обучающиеся могли ранее не изу-

чать данный предмет, и тогда прогноз строится на основе успехов в изучении других, смежных предметов или на основе определенных качеств личности, которые необходимы для успешного овладения данным предметом;

— оценка работы учебного заведения: одни и те же тесты проводятся в разных учебных заведениях, но работающих по одним и тем же учебным программам, для сравнения результатов обучения и определения уровня успеваемости обучающихся определенного возраста.

5. Рекомендации для правильного формулирования целей обучения

Цели тестирования должны быть сформулированы так, чтобы можно было с помощью четко обозначенных критериев определить, достигнуты они или нет. Так как каждую цель можно разложить на составляющие ее компоненты — задачи, то необходимо сформировать дерево целей и задач. Развернутая постановка задач тестирования позволяет провести процедуру спецификации теста.

Цель тестирования должна быть конкретизирована. Для этого нужно описать, владение какими знаниями, умениями и навыками проверяет данный тест. Составитель теста должен понимать, что представляет собой проверяемое знание, умение или навык, каковы условия его формирования и какова желательная степень владения им для данного обучающегося.

Цель следует формулировать очень точно, чтобы можно было однозначно определить степень ее реализации.

Как отмечает И. И. Соколова, с помощью тестов можно провести диагностику следующих знаний:

— «знания фактов, их причин;

— знания научных проблем по данной теме;

— знания основных терминов и понятий по теме, их определений и их практического применения;

— знания основных правил, принципов и законов, их формулировок и особенностей применения;

— знания теорий и фактов, являющихся основой для разработки данных теорий, их основных положений, доказательств, выводов, прогностических возможностей» [Соколова, 2004, с. 82].

Далее автор приводит умения, которые можно проверить с помощью теста:

— «владение фактами — установление их причин и взаимосвязей между разными фактами;

— владение проблематикой — формулирование проблем по данной теме, умение находить возможные пути решения каждой проблемы;

— владение понятиями — узнавание, определение понятий, раскрытие их содержания, классификация, описание взаимосвязей между понятиями и практическое их применение;

— владение правилами, закономерностями и законами — узнавание, формулирование, описание содержания и применения правил и законов;

— владение теориями — узнавание, подбор фактов и данных, необходимых для построения теории, раскрытие ее содержания (характеристика основных положений, доказательств, выводов), осуществление практических действий на основе теории» [Соколова, 2004, с. 82].

Наконец, как пишет в своей работе И. И. Соколова, тестирование позволяет проверить следующие навыки:

— «построения и применения алгоритма выполнения конкретных действий в структуре умения;

— моделирования выполнения действий, из которых состоит данное умение;

— выполнения комплекса действий, составляющих данное умение;

— анализа результатов выполнения действий» [Соколова, 2004, с. 82—

83].

Кроме основной цели проведения, тестирование может решать ряд главных и второстепенных задач. Эти задачи влияют на количество заданий по определенной теме, которое показывает, сколько времени отводилось данной теме или разделу программы в учебном процессе. Характер тестовых заданий должен отражать особенности тестируемого навыка.

6. Заключение

Итак, одним из важнейших этапов создания тестов по различным дисциплинам является этап целеполагания, то есть процесс определения целей и задач тестовой диагностики. Определение целей проведения тестирования помогает понять, какие результаты обучающихся будут оцениваться с помощью теста.

В содержании теста отражаются наиболее важные знания, умения и навыки, которыми должны овладеть обучающиеся в результате обучения, а для этого необходимо структурировать учебные цели.

Анализ научной литературы по данному вопросу показал, что единой иерархической модели целей не существует. Одни авторы (Б. С. Блум и М. В. Кларин) делили цели обучения на когнитивные, аффективные и психомоторные, другие (К. Биггс и Д. Коллис) подразделяли цели по уровням познавательной деятельности. Третья группа исследователей (В. П. Бес-

палько, Б. С. Иванов, К. А. Иванова, Н. П. Петренко и А. П. Дмитриева) опиралась на уровневый подход при описании результатов обучения. Е. М. Борисова, К. М. Гуревич и С. П. Суворов высказали точку зрения, что тестирование может проводиться для распределения обучающихся, диагностики, прогнозирования будущего успеха в обучении, определения достижений обучающихся в овладении учебной дисциплиной и уровня сформированности у них знаний, умений и навыков и различных общекультурных и профессиональных компетенций, а также уровня обученно-сти всех обучающихся данного учебного заведения в целом.

Литература

l . Беспалько В. П. Основы теории педагогических систем : проблемы и методы психолого-педагогического обеспечения технических обучающих систем / В. П. Беспалько. — Воронеж : Воронежский университет, 1977. — 304 с.

2. Беспалько В. П. Программированное обучение (дидактические основы) / В. П. Беспалько. — Москва : Высшая школа, 1970. — 300 с.

3. Иванов Б. С. Принципы и технология тестирования студентов / Б. С. Иванов. — Санкт-Петербург : Политехнический университет, 2005. — 80 с.

4. Иванова К. А. Методика комплексного контроля усвоения знаний (на материале английского языка) / К. А. Иванова, Н. П. Петренко, А. П. Дмитриева // Проблемы изучения иностранных языков в заочной и вечерней высшей школе. — 1976. — Выпуск 1. — С. 123—131.

5. Кларин М. В. Инновационные модели обучения в зарубежных педагогических поисках / М. В. Кларин. — Москва : Арена, 1994. — 223 с.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

6. Психологическая диагностика : учебное пособие / ред. К. М. Гуревич, Е. М. Борисова. — Москва : УРАО, 1997. — 304 с.

7. Соколова И. И. Компьютерное тестирование как наукоемкая педагогическая технология / И. И. Соколова // Известия Российского государственного педагогического университета им. А. И. Герцена. — 2004. — № 9, Т. 4. — С. 77—87.

S. Суворов С. П. Педагогические тесты: практика их составления и использования в США / С. П. Суворов // Пути улучшения преподавания иностранных языков : сборник статей. — Москва : Мысль, 1970. — С. 51—117.

9. Челышкова М. Б. Теория и практика конструирования педагогических тестов / М. Б. Челышкова. — Москва : Логос, 2002. — 432 с.

10. Biggs J. B. Evaluating the Quality of Learning — the SOLO Taxonomy / J. B. Biggs, K. F. Collis. — New York : Academic Press, 1982. — 248 p.

11. Bloom B. S. Taxonomy of Educational Objectives : The Classification of Educational Goals. Handbook 1: Cognitive Domain / B. S. Bloom et al. — New York : David Mckay Co., 1956. — 207 p.

Defining the Objectives of Testing f or Correct Interpretation of Its Results

© Kaplun Olga Aleksandrovna (2018), orcid.org/0000-0002-8898-2007, PhD in Education, associate professor, Department of Foreign Languages, Institute of Foreign Languages, Orel State University named after I. S. Turgenev (Orel, Russia), sunny21@inbox.ru. © Lavrishchev Aleksandr Igorevich (2018), orcid.org/0000-0002-6170-6192, PhD in Education, associate professor, Department of Foreign Languages, Institute of Foreign Languages, Orel State University named after I. S. Turgenev (Orel, Russia), algumkaf@yandex.ru.

One of the most important stages of the test development — the goal-setting stage — is considered. As a research task the authors determined the evaluation of the study of the problem of goal-setting in the pedagogical literature and literature on testology. The authors prove that the quality of the test content depends on the results of the goalsetting stage. The idea that the purpose of testing is important for the correct interpretation of its results is also approved. Based on the analysis of the literature on testology, the authors conclude that, creating a test, the developer sets a task to display in its content the main thing that students should know as a result of training, and it is necessary to structure the objectives of the test control. The description of different types of learning objectives is given. The levels of assimilation of knowledge distinguished by different researchers are listed. Recommendations are given for the correct formulation of the test objectives. Attention is paid to the knowledge, skills and learned methods of activity that can be checked using tests. The authors of the article come to the conclusion that the definition of the goals of testing is necessary in order to clarify what students’ results will be evaluated using the test.

Key words: test control; goal setting; taxonomy of goals; cognitive goals; affective goals; psychomotor goals; levels of knowledge acquisition.

References

Bespalko, V. P. (1970). Programmirovannoye obucheniye (didakticheskiye osnovy).

Moskva: Vysshaya shkola. (In Russ.). Bespalko, V. P. (1977). Osnovy teorii pedagogicheskikh sistem: problemy i metody psik-hologo-pedagogicheskogo obespecheniya tekhnicheskikh obuchayushchikh sistem. Voronezh: Voronezhskiy universitet. (In Russ.). Biggs, J. B., Collis, K. F. (1982). Evaluating the Quality of Learning — the SOLO Taxonomy. New York: Academic Press. Bloom, B. S. (1956). Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1: Cognitive Domain. New York: David Mckay Co. Chelyshkova, M. B. (2002). Teoriya i praktika konstruirovaniya pedagogicheskikh tes-

tov. Moskva: Logos. (In Russ.). Gurevich, K. M., Borisova, E. M. (eds.). (1997). Psikhologicheskaya diagnostika: ucheb-

noyeposobiye. Moskva: URAO. (In Russ.). Ivanov, B. S. (2005). Printsipy i tekhnologiya testirovaniya studentov. Sankt-Peterburg: Politekhnicheskiy universitet. (In Russ.).

Ivanova, K. A., Petrenko, N. P., Dmitrieva, A. P. (1976). Metodika kompleksnogo kon-trolya usvoyeniya znaniy (na materiale angliyskogo yazyka). Problemy izucheniya inostrannykh yazykov v zaochnoy i vecherney vysshey shkole, 1: 123—131. (In Russ.).

Klarin, M. V. (1994). Innovatsionnyye modeli obucheniya v zarubezhnykh peda-gogicheskikhpoiskakh. Moskva: Arena. (In Russ.).

Sokolova, I. I. (2004). Kompyuternoye testirovaniye kak naukoyemkaya pedagogiches-kaya tekhnologiya. Izvestiya Rossiyskogo gosudarstvennogo pedagogichesk-ogo universiteta im. A. I. Gertsena, 9/4: 77—87. (In Russ.).

Suvorov, S. P. (1970). Pedagogicheskiye testy: praktika ikh sostavleniya i ispolzovaniya v SShA. In: Puti uluchsheniya prepodavaniya inostrannykh yazykov: sborn-ik statey. Moskva: Mysl. (In Russ.).

Plan for the test

A Test Plan is a thorough document that outlines the test strategy, objectives, timetable, estimation, deliverables, and resources needed to accomplish software testing. The Test Plan assists us in determining the amount of work required to confirm the quality of the application being tested. The test plan is a blueprint for conducting software testing operations as a defined procedure, which the test manager closely monitors and controls.

“A test plan is a document detailing the scope, strategy, resources, and timetable of expected test activities,” according to the ISTQB definition.

Let’s look at an example/scenario of a Test Plan: You want to talk about the Test Plan with the team members at a meeting, but they aren’t interested.

What will you do in such a situation?

• I am the manager; follow my instructions.

• Now, let me explain why a Test Plan is necessary.

What Is a Test Plan and Why Is It Important?

There are several advantages to creating a test plan document.

• Assist others outside the test team in understanding the nuances of testing, such as developers, business managers, and customers.

• Our thinking is guided by the Test Plan. It’s similar to a set of rules that must be followed.

• Test Plan documents important features such as test estimates, test scope, and Test Strategy so that it may be evaluated by the Management Team and reused for additional projects.

What is the best way to write a test plan?

You already know that the most essential duty in the Test Management Process is to create a Test Plan. To build a test plan in accordance with IEEE 829, follow the seven stages outlined below.

• Examine the item.

• Create a test strategy

• Create a list of test objectives.

• Specify the test criteria

• Organizing Resources

• Construct a Test Environment

• Estimation and Schedule

• Establish the Test Deliverables

Step 1 − Examine the item

How can you test a product if you don’t know what it is? Impossible is the answer. Before you can evaluate a product, you must first understand everything there is to know about it.

The test product is an e-commerce website. You should do research on your clients and end-users to learn about their wants and expectations from the app.

• Who will be the target audience for the website?

• What is the purpose of it?

• How is it going to work?

• What software and hardware does the product make use of?

Take a look around this website and go over the product documentation. Reviewing product documentation can assist you in comprehending all of the website’s features as well as how to use it. If you have any questions, you may interview the client, the developer, or the designer to gain additional information.

Step 2 − Create a testing strategy

In software testing, deciding on a test strategy is an important step in creating a test plan. A Test Strategy document is a high-level document that is often created by the Test Manager. This article contains the following definitions −

• The project’s testing goals and methods for achieving them

• Determines the amount of time and money spent on testing.

Returning to your project, you’ll need to create a test strategy for the banking website. The steps below should be followed −

Step 2.1 − Define the Testing Scope

The scope of the testing should be established before beginning any test activity. You’ll have to think about it for a while.

• The “in scope” components of the system to be tested (hardware, software, middleware, and so on) are defined.

• The system components that will not be tested must also be explicitly characterized as “out of scope.”

For all stakeholders, defining the scope of your testing project is critical. You will benefit from having a precise scope.

• Give everyone on the team confidence and accurate information about the testing you’re performing.

• Everyone on the team will know what’s being tested and what isn’t.

What criteria do you use to define the scope of your project?

You must – to determine scope.

• Customer specifications are quite specific.

• Budget for the project

• Product Specification

• Your test team’s abilities and talent

The “in scope” and “out of scope” of the tests should now be clearly defined.

According to the software requirements, the project focuses only on testing all of the website’s features and the external interface (in scope testing) Stress, performance, and logical database testing will not be performed at this time. (not within the scope of this document)

Example of a Problem

The customer has requested that you test his API. However, the project budget does not allow for this. What will you do in such a situation? In this instance, you’ll need to persuade the customer that Api Testing is extra work that will take up a lot of time and resources. Give him evidence to back up your claims. Tell him that if Api Testing is included in the scope, the budget would go up by XYZ.

The client agrees, and the new scopes and out-of-scope objects are created.

• Functional testing and API testing are examples of in-scope things.

• Database testing, hardware, and any other external interfaces are not included in the scope.

Step 2.2 − Determine the Testing Type 

A Testing Type is a regular test process that produces a predictable test result. Each sort of testing is designed to find a certain type of issue in a product. However, all types of testing are targeted at the same goal: “early discovery of any problems prior to releasing the product to the customer.”

The following diagram depicts the many forms of testing that are regularly used −

• Unit Testing

• API Testing

• Integration Test

• System Test

• Install/Uninstall Testing

• Agile Testing

For software testing, there are a plethora of testing types to choose from. Your team will not be able to handle all types of testing with appropriate effort. You, as the Test Manager, must prioritize the Testing Types.

• Which kind of testing should be prioritized when it comes to web application testing?

• Which kind of testing should be skipped in order to save money?

Step 2.3 − Keep a record of the risks and issues.

Risk is an unpredictable future event with a chance of occurring and the potential for loss. When the danger materializes, it becomes a ‘problem.’

You previously learned about the ‘Risk’ analysis and identified possible dangers in the project in the article Risk Analysis and Solution.

You will document those risks in the QA Test Plan.

Risk	Mitigation
Members of the team lack the necessary abilities for website testing.	Plan a training session for your team to improve their skills.
The project timetable is very tight; doing this job on time will be difficult.	Establish a Test Priority for each test activity.
The Test Manager is a bad manager.	Managers should get leadership training.
Employee productivity suffers when there is a lack of collaboration.	Encourage each team member in his or her assignment and motivate them to work harder.
Cost overruns and incorrect budget estimates	Prior to starting work, define the scope, pay close attention to project planning, and track and measure progress on a regular basis.

Step 2.4 Creating Test Logistics

The Test Manager should respond to the following questions in Test Logistics −

• Who will put themselves to the test?

• When will the test take place?

Who will put themselves to the test?

Although you may not know the precise identities of the testers who will be doing the tests, the sort of tester can be identified.

You must examine if his expertise is qualified for the work and estimate the project budget when selecting the correct member for a certain assignment.

The project may fail or be delayed if the wrong person is assigned to the assignment.

A person with the following abilities is most suited to undertake software testing −

• Ability to comprehend the viewpoints of clients

• A strong passion for excellence, as well as a keen eye for detail and a willingness to collaborate.

The tester is the team member who will be in charge of the test execution in your project. You can pick an in-house or outsourced tester depending on the project budget.

When will the test take place?

Associated development efforts must be linked with test activities.

When you have all of the elements shown in the accompanying diagram, you may begin testing.

Step 3 − Defining the Test Objective

The ultimate purpose and achievement of the test execution are known as the test objective. The goal of testing is to uncover as many software flaws as possible and to ensure that the product under test is bug-free before it is released.

You should do the following two steps to determine the test goals.

• Make a list of all program aspects that need to be tested (functionality, performance, GUI, etc.).

• Define the test’s aim or goal based on the above characteristics.

Let’s use these procedures to figure out what your testing project’s test objective is.

You can use the ‘TOP-DOWN’ technique to locate the aspects of the website that need to be tested. You split down the program under test into components and sub-components using this strategy.

Based on the features listed above, the project’s Test Objective may be defined as follows −

• Check that the website’s functionality (Account, Deposit, etc.) works as intended in a real-world business context, with no errors or defects.

• Check that the website’s external interface, such as the UI, is functioning properly and that it meets the needs of the consumer.

• Examine the website’s usability. Is it possible that such features will be useful to the user?

Step 4 − Define Test Criteria

A test method or test judgment might be based on a standard or rule called test criteria. The following are two types of test criteria

Criteria for Suspension

Define the test’s crucial suspension conditions. The active test cycle will be interrupted until the suspension criteria are addressed if the suspension conditions are fulfilled during testing.

Example of a Test Plan − If your team members indicate that 40% of test cases are failing, you should halt testing until the development team has fixed all of the failed instances.

Criteria for Exit

It describes the criteria for determining if a test phase has been completed successfully. The exit criteria are the test’s intended outcomes, and they must be met before moving on to the next stage of development. For instance, all key test cases must pass 95% of the time.

pacifying a targeted run rate and pass rate are two ways to define exit criteria.

• The run rate is the ratio of the number of test cases performed to the total number of test cases in the test specification. For example, the test specification calls for a total of 120 TCs, but the tester only completed 100 of them, resulting in a run rate of 100/120 = 0.83. (83 percent)

• The ratio of the number of test cases passed to the number of test cases conducted is known as the pass rate. For example, out of more than 100 TCs conducted, 80 TCs passed, resulting in an 80/100 = 0.8 pass rate (80 percent).

Step 5 − Organizing Resources

A resource plan is a comprehensive list of all resources needed to fulfill a given assignment. Human resources, as well as the equipment and materials required to execute a job, are all resources.

Resource planning is a crucial aspect of test planning since it helps determine the number of resources (employees, equipment, etc.) that will be needed for the project. As a result, the Test Manager can create an accurate project plan and estimate.

This section lists the resources that are recommended for your project.

Human Resource Management

The following table depicts several members of your project team.

S.NO	Member	Tasks
1	Manager of Tests	Oversee the entire project. Define the project’s goals. Obtain the necessary resources
2	Tester	Identifying and characterizing suitable testing approaches, tools, and automation architecture Examine and evaluate the Test Approach Execute the tests, keep track of the results, and report any defects. Depending on the project budget, testers might be in-house or outsourced. To save money on the project, I advocate using outsourced personnel for low-skilled tasks.
3	Developer undergoing testing	Execute the test cases, test program, and test suite, among other things.
4	Administrator of Tests	Establishes and maintains the Test Environment as well as its assets. SupportTester will run tests in the test environment.
5	Members of the SQA	Assume responsibility for quality assurance. Check to see if the testing procedure adheres to the specifications.

Resource for the System

You should plan the resources for testing a web application as shown in the tables below −

S.NO	Resources	Descriptions
1	Server	Install the test web application. If applicable, this comprises a separate web server, database server, and application server.
2	tool for testing	The purpose of the testing tool is to automate testing, replicate user operations, and create test results. You may use a variety of test tools for this project, including Selenium, QTP, and others.
3	Network	To imitate the real-world company and user environment, you’ll need a network that includes both LAN and the Internet.
4	Computer	The computer that people frequently use to connect to the webserver

Step 6 − Plan a test environment

What does the test environment?

A testing environment is a software and hardware configuration on which the testing team will run test cases. The test environment includes a real-world business and user environment, as well as physical surroundings like a server and a front-end operating environment.

How to Create a Testing Environment?

How can you build up a test environment for this e-commerce website, returning to your project?

You’ll need good collaboration between the Test Team and the Development Team to complete this assignment.

To fully comprehend the web application under test, you should ask the developer certain questions. Here are some questions to consider. Of course, if you need to, you may ask the other questions.

• What is the maximum number of simultaneous connections this website can handle?

• What are the hardware and software requirements for this website’s installation?

• Is there anything special that the user’s machine needs to visit the website?

Step 7 − Planning and Estimation

You already used various approaches to estimate the effort required to accomplish the project in the article Test estimation. You should now add that estimate, along with the timetable, to the Test Planning.

Assume you split down the whole project into tiny jobs and include the estimation for each work in the Test Estimation phase, as shown below.

Task	Member	Estimate Effort
Make a test specification.	Designer of Tests	170 hours of labor
Conduct a test execution	Administrator and Tester	80 hours of labor
Report on the Test	Tester	10 hours of labor
Delivery of a Test		20 hours of labor
Total		280 hours of labor

After that, you make a plan for completing these chores.

In project management, the term “making schedule” is commonly used. The Test Manager can utilize a solid schedule created in Test Planning as a tool for monitoring project progress and controlling cost overruns.

The Test Manager will require the following pieces of information to build the project schedule

• Employees and project deadlines − The number of working days, the project deadline, and the availability of resources are all elements that influence the timetable.

• Project estimation: The Test Manager knows how long it will take to complete the project based on the estimation. As a result, he will be able to create an adequate project timetable.

• Understanding project risk allows the Test Manager to allocate adequate time to the project plan to cope with the risks.

Step 8 − Test Deliverables

A list of all the documentation, tools, and other components that must be produced and maintained in support of the testing endeavor is called Test Deliverables.

Every stage of the software development lifecycle has its own set of test deliverables.

Before the testing process, test deliverables are supplied.

• A document containing test plans.

• Documents containing test cases

• Specifications for test design

During the testing, test deliverables are given.

• Test Scripts

• Simulators

• Test Data

• Test Traceability Matrix

• Error logs and execution logs

Test Data: After the testing cycles are completed, test deliverables are supplied −

• Reports/results of tests

• Defect Reports

• Installation/Test Procedures Guidelines

• Notes about the release

В этой статье речь пойдёт о разработке образовательных тестов — заданий по проверке предметных знаний и навыков. Но в целом описанные правила универсальны: тесты для оценки психологических качеств или софт-скиллов разрабатываются аналогично.

Вы узнаете:

• можно ли с помощью теста, где учащийся выбирает из вариантов ответов, проверить, как он умеет рассуждать;
• можно ли измерить тестом не просто знание фактов, а понимание учебного материала;
• чем трудные задания отличаются от сложных и почему трудным тест может быть, а вот сложным его лучше не делать;
• с каких заданий лучше начинать — простых или трудных;
• какое количество вариантов ответа оптимально;
• как проверить, работает ли тест.

---

Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. Мы подробно разберём инструмент, за которым в русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.

У стандартизированных тестов в образовании не лучшая репутация. Но психометрики по-прежнему отстаивают такой способ измерения: тесты с выбором ответа масштабируемы, справедливы и объективны. Это значит, что по одному и тому же тесту можно проверить сколько угодно учащихся, причём все будут в равных условиях, а на результат не повлияет ничьё постороннее мнение.

Но в то же время любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить. Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам.

Для каких конструктов подходят тесты с выбором ответа? Это практически идеальный инструмент для оценки знания фактов и сугубо технических навыков. Например, для проверки знания о том, как отделить команды друг от друга при программировании на определённом языке.

А вот проверить, как учащийся умеет рассуждать, взаимодействовать с коллегами или находить практическое решение в сложной ситуации, тест с выбором ответов не поможет. Чем сложнее природа конструкта, тем более гибким должен быть инструмент измерения.

Такие тесты способны выявить не любые знания. В любой дисциплине есть простые факты, и по ним легко написать вопросы с несколькими вариантами ответа. Например, спросить, в каком году Колумб открыл Америку.

А есть элементы знания, для которых простого запоминания недостаточно. Например, если мы хотим спросить, какие события и явления стали предпосылками для открытия Америки, вопрос с выбором ответа из нескольких уже не так хорош.

Каждый преподаватель хочет, чтобы студенты не только помнили факты, но и понимали материал. Но, увы, понимание как таковое пока невозможно измерить. Может быть, нейронауки в отдалённом будущем дадут возможность следить за всем, что происходит внутри черепной коробки каждого ученика. Но сейчас психометрика работает с тем, что можно наблюдать, с поведенческими проявлениями. У понимания таких универсальных проявлений нет.

Потому в педагогических измерениях, когда нужно оценить более глубокие, не фактологические знания, измеряют не само по себе понимание, а умение интерпретировать или анализировать. И более практичны, чем тесты с выбором из нескольких вариантов, тут задания с открытым ответом или компьютерные симуляции и игры. В таких инструментах среда тестирования будет более гибкой, чем стандартизированные тесты.

Если ваша задача — проверить усвоение фактологических знаний или отдельных навыков, тест с выбором ответов вполне подойдёт. Чтобы составить и распространить такой тест, не нужны сложные цифровые сервисы. Для базовых задач вполне достаточно форм Google или «Яндекса».

В этом разделе статьи разберёмся с основными вопросами о том, как составить хороший тест. А если нужно узнать по этой теме больше, советую книгу: Haladyna T. M., Rodriguez M. C. Developing and validating test items (Routledge, 2013) — и другие работы её авторов. Правда, на русском языке она, к сожалению, не выходила.

К концу теста любой учащийся устаёт. Поэтому последние задания зачастую уже не дают никакой информации о знаниях тестируемого. Получается, делать тест слишком длинным нельзя.

Но и коротким он быть не может — у небольших тестов ниже надёжность. На какой-то вопрос учащийся даст неверный ответ по невнимательности, а где-то, наоборот, случайно угадает правильный вариант. Если тест будет достаточно объёмным, больше шансов, что такого рода ошибки уравновесят друг друга и итоговый результат будет достоверен.

Так как определить, какой длины должен быть тест? Нужно отталкиваться от времени на решение одного задания. Оно зависит от трудности и может составлять от нескольких десятков секунд до пяти минут. Также стоит учитывать возраст учащихся:

• Детям до подросткового возраста нельзя давать задание дольше, чем на 20 минут, — или нужно предусмотреть возможность перерыва в тесте.
• Для старших подростков и студентов, а также взрослых лучше исходить из продолжительности привычного занятия. Например, для старшеклассника нормально посвятить тесту урок в 45 минут (или два урока с переменой между ними). А для студентов уже можно написать тест и на 80 минут.
• В дополнительном образовании взрослых следует учитывать, что взрослый человек уже не считает себя обязанным участвовать ни в каких тестах. Ему нужна дополнительная мотивация. Например, можно пообещать индивидуальную обратную связь по результатам теста (и потом обязательно её предоставить!).

Золотое правило таково: чем больше часов на тему отведено в курсе, тем больше вопросов в финальном тесте. Потому что изначально, когда курс составлялся, большее число часов было запланировано на более важную тему.

Если темы не слишком дробные, хорошо бы поставить минимум три вопроса на каждую. Опять же, потому, что случайные ошибки уравновесят друг друга. Но обратную связь потом лучше давать не только по каждому отдельному заданию, но и по теме в целом.

Небольшое отступление: в психометрике задание может быть трудным, но не сложным. Трудность в этой науке понимают так же, как обычно в русском языке. Чтобы справиться с трудным заданием, нужно обладать высоким уровнем знаний по теме. Скорее всего, немногие ученики решат трудное задание.

А сложность — отдельное психометрическое понятие. Оно характеризует, сколько действий и когнитивных операций нужно выполнить в процессе решения. Возьмём математический пример. Задание разделить 0,219 на 0,365 трудное, но не сложное: оно состоит всего из одного действия.

И начинать тест следует с более лёгких заданий, то есть с нетрудных. В начале теста уровень стресса всегда выше, что искажает результаты. Если вопросы в тесте распределены по тематическим блокам, можно в каждом из них располагать задания от лёгких к трудным.

Кстати, вопрос о распределении по тематическим блокам сам по себе непростой. С одной стороны, правильнее, чтобы тестируемый концентрировался в каждый момент теста на одной теме. С другой стороны, иногда важно проверить, может ли он быстро переключаться с одной проблемы на другую.

Как именно поступить, решают в зависимости от дисциплины и задач теста. Но важно ставить всех тестируемых в одинаковые условия, чтобы результаты были сопоставимы.

В целом делить на блоки тест правильно: так тестируемый увидит, что тест не бесконечен. В ситуации компьютерного тестирования, когда нельзя пролистать задания и понять, сколько ещё осталось, это важно. И, конечно, нужно предупредить, если время на ответы ограничено.

Наиболее привычны сегодня тесты как в ЕГЭ — с четырьмя вариантами ответа. Иногда можно услышать, что это связано с объёмом рабочей памяти: якобы четыре варианта появились, потому что именно такое количество элементов средний человек способен одновременно удерживать в уме.

Психологи-когнитивисты такое обоснование считают ненаучным. Скорее всего, к четырём вариантам ответа практики пришли случайно, и ничего биологически или психологически заданного в этой цифре нет. Вариантов может быть и меньше — например, три.

А вот придумать больше неверных ответов обычно затруднительно.

Создание неправильных вариантов ответа — на самом деле сложное психометрическое мастерство. Не зря их называют дистракторами, то есть отвлекающими внимание от верного варианта.

Суть в том, что неправильные ответы должны быть похожи на правильный и привлекательны. Очевидно неправильных ответов нужно избегать, как и ответов из другой области. Например, если в вопросе стоит формулировка «В каком году?», все ответы должны быть датами примерно из одного диапазона.

Но неверные варианты не должны содержать в себе правильный ответ или какую-то его часть — иначе нужно в вопросе объяснить, что тестируемый должен выбрать самый правильный ответ.

Высший пилотаж — неправильные варианты на основе типичных ошибок студентов. Это позволяет давать более глубокую обратную связь: не просто показывать, где учащийся ошибся, а анализировать, почему он выбрал именно такой неправильный вариант.

Кроме надёжности, у любого теста есть ещё одно важное качество — валидность. По классическому определению, валидность — свойство теста измерять то, на что он направлен. Более современное определение гласит, что результаты валидного теста можно интерпретировать в той логике, в которой он создан.

И иногда на валидность может повлиять просто то, что тестируемый иначе (но не неправильно!) смотрит на ситуацию в задании.

Возьмём пример из теста на критическое мышление, разработанного в ВШЭ. Это тест‑симуляция онлайн-среды, в ней нужно общаться с ботом. Одна из задач — получить недостающую информацию для рецепта торта.

По идее, тестируемый должен задать боту конкретный вопрос, например: «Сколько яиц нужно добавить?» Но человек может начать с приветствия, и не потому, что не понял задание. Сказать «Привет, как дела?» перед тем, как уточнять рецепт, вообще‑то нормально. Но если об этом не подумать при составлении теста, такой ответ будет оцениваться как ошибочный.

Одно из частых опасений по поводу тестов и причин, почему в них предлагают добавлять больше вариантов ответа, — «угадайка». Кажется, что в задании с двумя вариантами ответа вероятность угадать составляет 50%. Но это верно только в случае, когда весь тест состоит из одного вопроса с двумя вариантами ответа.

Если добавить второй вопрос, в котором не будет подсказок к первому и наоборот, вероятности просто перемножатся. И шанс случайно угадать правильные ответы составит уже 25%. В случае с тестом из десяти заданий вероятность ответить на всё правильно случайно пренебрежимо мала.

Но такой расчёт справедлив только для тестов с хорошо написанными неправильными ответами.

На магистерской программе Института образования психометриков учат проверять работоспособность тестов все два учебных года. Попробуем коротко разобрать, что именно они изучают.

Проверить тест можно качественным или количественным методом. Качественный метод представляет собой интервью. Разработчик теста выдаёт задания представителю целевой группы, наблюдает за ним и расспрашивает. Так можно выяснить, всё ли понятно в заданиях, что именно тестируемый делает для решения, какие вопросы ставят его в тупик, а какие кажутся слишком простыми.

Цель качественной проверки — убедиться, что решение теста задействует именно те когнитивные процессы, которые требовалось вовлечь (скажем, тестируемый действительно решает математическую задачу, а не навскидку выбирает из вариантов наиболее подходящий), что варианты-дистракторы не содержат элементов правильного ответа, что все инструкции к тесту понятны и так далее.

Оценка работоспособности теста количественными методами — как раз психометрика в узком смысле слова. Проводится она через статистический анализ, для которого нужно порядка 100 наблюдений.

Понятно, что для каждого курса такую проверку не проведёшь, обычно достаточно интервью. Но количественная оценка обязательна, если по результатам теста принимается какое-либо решение — о зачислении на курс, о сертификации.

В результате разработчик теста получит все те же данные, что и при качественной оценке. К тому же количественная оценка покажет, какие вопросы и утверждения не измеряют то, что должны, а какие вообще избыточны — тест работает и без них.

Блог седого тестировщика

говориМ о тестировании
простым языком

Тестирование: цели и принципы

Время на прочтение: 4 мин.

• 
  
  
  Вячеслав Зимин
• 
  
  
  22 сентября, 2019
• 
  
  
  Нет комментариев

Основы тестирования. Цели и принципы тестирования.

Открываю цикл статей по основам тестирования. В каждой из них буду рассказывать по одному вопросу. Потом соберу все вместе в некий сборник, по которому можно будет изучить или повторить базовую теория тестирования.

Все статьи будут выходить с хештегом #базоваятеория@zapiskisedogotestera. Это позволит найти их среди прочих.

Предлагаю начать с определения тестирования, его целей и принципов.

Откуда вообще возникла необходимость в тестировании? Люди совершают ошибки. Одни из них могут быть незначительными, другие иметь самые разрушительные последствия. Все, что производится человеком, может содержать ошибки (так уж мы, люди, устроены). Именно поэтому любой продукт нуждается в проверке – тестировании.

Если не тестировать, есть вероятность выпуска некачественного продукта, который пользователь даже не сможет нормально запустить. Если говорить обо мне, то я не буду пользоваться продуктом, который плохо работает и в котором постоянно всплывают ошибки и мешают работе в нем. А вы?)

Тестирование — это …

Тестирование (testing) — это процесс, содержащий в себе все активности жизненного цикла, как динамические, так и статические, касающиеся планирования, подготовки и оценки программного продукта и связанных с этим результатов работ с целью определить, что они соответствуют описанным требованиям, показать, что они подходят для заявленных целей и для определения дефектов [глоссарий ISTQB].

Давайте разберем это определение по частям.
Во-первых, тестирование, это процесс исследования или изучения программы.
Во-вторых, исследуем мы зачем? Чтобы проверить, что программа соответствует ожиданиям, то есть мы запускаем программу и смотрим, что весь ее функционал соответствует техническому заданию.
И наконец, в третьих, как мы это будет делать? С помощью заранее написанных или подготовленных проверок.

Если все это совместить и сказать простым языком, то получим следующее определение.
Тестирование — это процесс исследования программы с целью определить, что программа работает в соответствии с заявленными требованиями с помощью заранее подготовленных проверок.

Цели тестирования

Цели тестирования сильно зависят от целей самого проекта. Но можно выделить основные общие цели:

1. Проверка, все ли указанные требования выполнены.
   Что это значит? У каждого продукта есть техническое задание (ТЗ) в том или ином виде. Именно оно определяет, как будет выглядеть программа. ТЗ задает соответствующие требования, а мы, как тестировщики, должны проверить, что все требования из ТЗ не только реализованы, но и работают правильно.
2. Создание уверенности в уровне качества объекта тестирования.
   Напрямую тестирование не влияет на качество продукта. Грубо говоря, качество — это удовлетворение ожиданий пользователей. А удовлетворение зависит от очень многих факторов.
   Тем не менее, поиск и исправление дефектов позволяет продукту работать именно так, как он был задуман. И, как минимум, можно сказать, что если программа работает корректно и соответствует заданным критериям, то достигнут определенный уровень качества объекта тестирования.
3. Предотвращение дефектов.
   Тестирование — не только поиск багов на уже реализованном продукте. Существует также тестирование на более ранних этапах, например, тестирование документации.
   Заранее протестировав тоже ТЗ, тестировщик может указать на потенциальные проблемы, которые могут появиться в результате разработки программы. А зная о таких проблемах заранее, можно избежать вполне реальных багов в будущем.
4. Обнаружение отказов и дефектов.
   Здесь все просто: поиск багов в программном обеспечении (ПО) является неотъемлемой частью тестирования.
5. Предоставление заинтересованным лицам достаточной информации, позволяющей им принять обоснованные решения (особенно в отношении уровня качества объекта тестирования).
   Тестирование — это все-таки услуга. Мы, как тестировщики, не влияем напрямую на исправление дефектов. Но можем показать текущее состояние продукта, выраженное в количестве багов, путем оформления баг-репортов. Заинтересованные лица (например, руководитель проекта) могут оценить текущие проблемы и принять решение о выпуске или не выпуске продукта.
6. Снижение уровня риска ненадлежащего качества программного обеспечения (например, пропущенные сбои в работе).
   Чем лучше тестирование, тем меньший риск пропуска критичных багов. А значит, что риск возникновения ненадлежащего качества ПО уменьшается.

Принципы тестирования

За последние пятьдесят лет был предложен ряд принципов тестирования, которые являются общим руководством для тестирования в целом:

1. Тестирование демонстрирует наличие дефектов, а не их отсутствие.
   Тестирование может показать, что дефекты присутствуют, но не может доказать, что их нет. Тестирование снижает вероятность наличия дефектов, находящихся в программном обеспечении, но, даже если дефекты не были обнаружены, тестирование не доказывает его корректности. Почему? Потому что есть пункт 2.
2. Исчерпывающее тестирование недостижимо.
   Полное тестирование с использованием всех комбинаций вводов и предусловий физически невыполнимо, за исключением тривиальных случаев. Вместо попытки исчерпывающего тестирования должны использоваться анализ рисков, методы тестирования и расстановка приоритетов, чтобы сосредоточить усилия по тестированию.
   Элементарно, попробуйте посчитать сколько усилий необходимо приложить, чтобы проверить все комбинации калькулятора. И даже если вы продумаете абсолютно все варианты, то всегда найдется еще один, о котором вы не знаете.
3. Раннее тестирование сохраняет время и деньги.
   Активности по тестированию должны быть начаты как можно раньше в жизненном цикле разработки программного обеспечения. Это как раз позволяет находить дефекты на ранних стадиях.
   Раннее тестирование иногда называют «сдвигом влево» по ISTQB. Тестирование на ранних этапах жизненного цикла разработки программного обеспечения помогает сократить или исключить дорогостоящие изменения. Хотя бы потому что вовремя замеченную ошибку в ТЗ исправить намного проще, чем когда по этому ТЗ уже будет разработана функциональность.
4. Кластеризация дефектов (Скопление дефектов).
   Обычно небольшое количество модулей содержит большинство дефектов, обнаруженных во время тестирования перед выпуском. То есть баги имеют свойство скапливаться где-то в одном месте и, если нашли интересную ошибку в функционале, есть очень большая вероятность найти рядом еще одну.
5. Парадокс (эффект) пестицида.
   Если одни и те же тесты будут выполняться снова и снова, в конечном счете эти тесты больше не будут находить новых дефектов. Для обнаружения новых ошибок может потребоваться изменение существующих тестов и тестовых данных, а также написание новых тестов.
   Тесты больше не эффективны при обнаружении дефектов, так же как пестициды через некоторое время больше не эффективны при борьбе с вредителями.
6. Тестирование зависит от контекста.
   Тестирование выполняется по-разному в зависимости от контекста. Например, программное обеспечение управления производством, в котором критически важна безопасность, тестируется иначе, чем мобильное приложение электронной коммерции.
7. Заблуждение об отсутствии ошибок.
   Некоторые организации ожидают, что тестировщики смогут выполнить все возможные тесты и найти все возможные дефекты, но принципы 2 и 1 говорят нам, что это невозможно.
   Кроме того, ошибочно ожидать, что простое нахождение и исправление большого числа дефектов обеспечит успех продукту. Например, тщательное тестирование всех указанных требований и исправление всех обнаруженных дефектов может привести к созданию системы, которая будет трудной в использовании, не будет соответствовать потребностям и ожиданиям пользователей или будет хуже по сравнению с другими конкурирующими системами.

Итак, сегодня мы разобрали что такой тестирование и зачем оно необходимо, выяснили его цели и принципы. В следующей статье мы поговорим об этапах тестирования.

Автор статьи:

Вячеслав Зимин

Тестировщик со стажем. Основатель школы седого тестировщика.

Межтекстовые Отзывы

Посмотреть все комментарии

Ближайшие события

• Живые прямые эфиры с практикой
• 
  
  22 мая в 19:00 по МСК.

• Тренинг с практикой на реальном проекте
• 
  
  с 2 мая и с 29 мая

Ближайшие события

• Прямой эфир “Баг-репорты: как составлять отчеты об ошибках без ошибок”
• 
  
  2 сентября в 19:00 по МСК

• Мини-курс “Путь в тестирование”
• 
  
  После регистации

Вам также может понравится