Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Обычно автор теста стремится, часто неосознанно, сделать это отображение глубже и полнее. Конечно, это естественно, так как все вопросы кажутся преподавателю важными и все хочется включить в тест. Расширение числа тем и разделов ведет к увеличению длины теста, что рационально только до определенных разумных пределов. Поэтому при создании теста ставится задача отобразить самое главное — то, без чего качественная проверка итої овых результатов обучения немыслима. Повышению полноты отображения, а также достижению ряда других необходимых характеристик способствует в немалой степени экспертиза качества содержания теста.
Оценка качества содержания теста обычно проводится по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту. К экспертизе привлекаются наиболее опытные учителя, имеющие большой стаж работы с теми учащимися, для которых в конечном итоге предназначен тест.
Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраиваются сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемому к проверке содержанию. Один из вариантов подобных методик для оценки качества содержания аттестационного теста приводится далее.
Первое направление работы эксперта
Работа эксперта по первому направлению заключается в анализе содержания отдельных заданий теста. При работе по первому направлению эксперт должен заполнить таблицу (приложение 3.2). В таблице первая графа содержит номера заданий теста. Во второй графе приводятся номера выбранных экспертом правильных ответов в закрытых заданиях тестов. Ответы к открытым заданиям приводятся экспертом вне таблиц на отдельном листе. Форма представления ответа зависит от формы рецензируемого задания теста. При выполнении открытых заданий с кратким ответом эксперт приводит под номером задания полученный им краткий ответ (слово,
100
GUNPOWDER
символ, число...). Здесь же необходимо обратить внимание авторов теста на возможные случаи появления неоднозначности, когда на месте планируемого единственного могут возникнуть дополнительные, частично правильные ответы. К открытым заданиям со свободно конструируемым ответом эксперт должен предложить в произвольной форме свой вариант оценки распространенного ответа, эссе или доказательства.
В третьей графе таблицы располагаются результаты анализа содержания заданий в терминах требований к уровню подготовки выпускников. Для проведения анализа эксперту необходимо сопоставить содержание каждого задания теста и перечень пронумерованных требований, который входит в комплект материалов для экспертизы и выдается эксперту вместе с тестами. По результатам сопоставления эксперт выявляет номер требования, на которое преимущественно ориентировано содержание данного задания, и приводит этот номер в третьей графе для каждого задания теста. Здесь в процессе анализа возможны ситуации, когда в отдельных заданиях контролируется не одно, а два или более требований к уровню подготовки выпускников. В этом случае эксперт приводит только один номер того требования, которое в основном проверяется с помощью данного задания теста.
В четвертой графе таблицы проставляется уровень базовости. Дифференциация заданий по уровням позволяет разделить их на три группы: Б, П, С. Дифференциация производится на основе сопоставления содержания заданий с требованиями к уровню подготовки выпускников. Втом случае, когда задание проверяет степень достижения требований на минимальном уровне, достаточном для выставления оценки «удовлетворительно», оно считается соответствующим группе Б. К группе П относятся задания, правильное выполнение которых позволяет выставить ученику хорошие и отличные оценки. Таким образом, задания группы П по трудности превышают минимально достаточный уровень, но находятся в пределах минимума содержания образования поданному предмету. И наконец, в группу С включаются задания, выходящие за пределы минимума содержания и требований к уровню подготовки выпускников.
В пятой графе таблицы эксперт оценивает уровень значимости содержания каждого задания теста. Оценка значимости связана с необходимостью включения в тест только тех элементов содержания, которые являются наиболее важными, ключевыми для освоения учебного курса в пределах требований к уровню подготовки. Оценку значимости предлагается проводить по отдельным заданиям без учета
101
GUNPOWDER
того, что отдельные элементы содержания в заданиях могут пересекаться. При этом в центр внимания необходимо ставить то, что измеряет задание, не принимая в расчет промежуточные элементы знания, востребованные в процессе выполнения задания теста.
Оценку значимости содержания заданий эксперты проставляют по четырехбалльной шкале. Балл 0 выставляется в том случае, когда эксперт считает неоправданным включение данного задания в тест. Балл 1 выставляется в том случае, если содержание задания представляется эксперту незначимым, 2 — значимым, а 3 — наиболее важным опорным элементом. Полученные оценки по отдельным заданиям теста необходимо усреднить. Для этого суммируются баллы по отдельным заданиям и найденное число делится на общее число заданий теста. Например, если всего было 30 заданий и первому заданию эксперт присвоил балл 2, второму — 3, третье-
