Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Гетерогенные тесты бывают двух заметно отличающихся друг от друга видов: полидисциплинарные и междисциплинарные [33]. Полидисциплинарные тесты просты в концептуальном отношении и состоят из гомогенных субтестов по отдельным дисциплинам. Сложности, которые здесь возникают, обычно носят исключительно технический характер и связаны с объединением результатов учеников по субтестам для подсчета итоговых баллов по всему полидисциплинарному тесту.
Междисциплинарные тесты гораздо сложнее в концептуальном отношении, но зачастую кажутся проще полидисциплинарных в техническом отношении, особенно на начальном этапе работ по созданию теста. Однако эта кажущаяся легкость оборачивается значительными трудностями, которые нередко становятся непреодолимыми при интерпретации результатов выполнения теста, что приводит к профанации самой идеи междисциплинарной оценки. Сложность интерпретации здесь видится в том, что оцениваемые знания и умения относятся к разным учебным дисциплинам и задействуют их в разной степени.
При правильном подходе междисциплинарность должна найти свое отражение в содержании всех заданий, для выполнения которых потребуется применение некоторых обобщенных, интегративных знаний и умений. Включение в тест междисциплинарных заданий заставляет искать ответ на вопрос: в какой степени разработанные задания пригодны для оценки измеряемых интегративных свойств и насколько они надежны? Обычно ответ на этот вопрос требует довольно серьезных усилий со стороны разработчика теста.
В целом разработка гетерогенных тестов требует обращения к специальным достаточно сложным вопросам репрезентации структуры междисциплинарных знаний математико-статистическими методами многомерного шкалирования и в данном пособии не рассматривается. Обращение к многомерным статистическим методам вынудило бы авторов книги значительно расширить используемый математический аппарат и, несомненно, сузило бы круг заинтересованных читателей. Поэтому вопросы, связанные с гетерогенными тестами, осознанно исключены из рассмотрения.
Возвращаясь к определению гомогенного нормативно-ориентированного теста, необходимо подчеркнуть главную идею — тест
60
GUNPOWDER
образует не любая система заданий, а только та, которая обеспечивает информативные оценки уровня и качества подготовки испытуемых группы. Критерий информативности является ключевым в оценке качества теста, вернее, той грани качества, которая характеризует способность теста выполнять функцию средства измерения в рамках нормативно-ориентированного подхода для данной выборки учеников.
Оценка информативности носит апостериорный характер. Она построена на подсчете дифференцированной ошибки измерения уровня подготовки каждого испытуемого группы и выявлении дифференцирующего эффекта теста. Что касается ошибки измерения, то здесь намечается обратно пропорциональная зависимость, которая не только описывается специальной математической формулой, но и хорошо согласуется с обыденным смыслом. Чем меньше ошибка измерения уровня подготовки каждого испытуемого группы, тем больше информации о знаниях или умениях ученика можно получить с помощью данного теста. Если ошибка измерения, полученная при оценке подготовки испытуемого, велика, то тест не дает информации о реальном уровне его подготовки и, следовательно, цель измерений не достигнута.
Оценка дифференцирующего эффекта связана с анализом распределения тестовых баллов испытуемых группы. Оценка может быть проведена достаточно простым путем визуального анализа гистограммы. Более сложный путь основан на оценке близости эмпирического распределения к нормальному закону с помощью одного из известных критериев нормальности распределения [36]. Если гипотеза о нормальности не подтверждается и тестовые баллы учеников слабо дифференцированы, то тест не состоялся, поскольку не выполняются основные требования нормативно-ориентированного подхода.
Из этих утверждений следуют два важных вывода. Первый — нет и не может быть тестов информативных вообще, так как оценка информативности зависит не только от характеристик тестовых заданий, но и от уровня подготовки тестируемой группы. Второй — для оценки информативности заданий необходимы эмпирические исследования качества теста на репрезентативной выборке учеников. Таким образом, информативность следует рассматривать как меру пригодности теста для выполнения функций средства измерения и дифференциации оцениваемой выборки учеников.
В целом хотелось бы отметить, что в предлагаемом определении выделяется наиболее важное преимущество теста, выгодно от-
61
GUNPOWDER
личающее его от традиционных средств оценки знаний учащихся. Это преимущество связано с тем, что только тест является качественным средством педагогического измерения, поскольку именно в отношении тестов утвердилась рефлексивная норма обязательной проверки их качества. Работа над повышением качества теста консолидирует систему тестовых заданий — постепенно нарастает внутренняя связь и целостность, интегративность системы, совершается переход от совокупности предтестовых заданий к профессионально разработанному тесту.
