Модель оценки качества обучения

Данная глава посвящена анализу применимости тестовой технологии для целей и задач образовательного мониторинга. В связи с этим, уточнено понятие стандартизированного педагогического теста, соответствующее определению педагогического теста, выработанного на совещании-семинаре по разработке единых критериев оценки аттестационных технологий и систем, проходившем в январе 1998 года:

Тест учебных достижений — это инструмент для измерения соответствующих качеств обучаемых, который представляет собой квалиметрически выверенную систему тестовых заданий, состоящих из предъявляемой час набора тестологических характеристик, в совокупности с оптимизированной процедурой проведения тестирования и научно-обоснованной технологией обработки, анализа и интерпретации результатов.

Для формализации понятия стандартизированный педагогический тест было проведено исследование, направленное на получение описания «статистически среднего педагогического теста». С этой целью были проанализированы более 4 тысяч заданий (69 тестов) из отечественных и зарубежных источников, доступных по сети Internet и в печатном виде [64].

Как вывод, можно говорить, что стандартизованный педагогический тест состоит из заданий в основном закрытой формы, однако, в специальных случаях, допускается наличие в нем и других форм заданий. Задания закрытой формы обычно имеют по 4−5 дистракторов. Иногда используются задания со сложной структурой правильного ответа, когда верным ответом признается не один выбор, а несколько, вплоть до логических конструкций с «И», «ИЛИ» и «НЕ». Количество заданий в тесте вариативно.

Для целей массового тестирования необходимо предусмотреть технологию создания комплектов параллельных тестов. Такие тесты должны быть тестологически эквивалентными и полностью совпадать по формальным признакам.

Форма предъявления теста может быть как бумажной (бланковой), так и компьютерной. Исходная тестовая база при этом не должна меняться. Это накладывает ограничение на виды заданий. Нельзя использовать задания, например, предусматривающие оперирование физическими объектами.

Далее приводится полная методическая схема подготовки и применения тестов (см. рисунке 7), которая может быть структурно разделена на три основные функциональные системы:

подготовки тестового материала;

предъявления;

обработки.

Одной из серьезных проблем организации статистической обработки больших объемов данных является задача оптимизации процедуры расчетов по ресурсному принципу. В связи с этим предложена методика применения аддитивных формул для ряда тестологических характеристик.

Математически данное положение представим в следующем виде:

Пусть имеется два вектора исходных данных разной мощности к и l и вектор, включающий в себя все данные N=k+l:

=, , и = (3.1).

Пусть также имеется механизм получения (функционал) F некоего парами Q на базе данных любого из этих векторов исходных данных:

Qа = F ().

Q b=F ().

Qc = F () (3.2).

Требуется найти механизм получения (функционал) G для получения суммарного (к +l) значения параметра Q, такой, что:

Qc=F () = G (+ G (, (3.3).

Где вектора, А и В имеют фиксированную размерность, и значения их членов связаны соответственно только с векторами, а и b при помощи определенных правил преобразования.

Такие формулы были получены (их получение подробно приведено в диссертации) для ряда статистических характеристик, среди которых:

— средний тестовый балл:

TBN =. TBK +. TBL (3.3).

— коэффициент надежности Спирмена-Брауна.

RCnBp = 2 (3.5).

где r — коэффициент корреляции частей тестов X и Y:

r xy = (3.6).

где N — тестовый балл i-го ученика, полученный по Х-вой части теста.

Задача сводится к выводу аддитивного выражения в отношении расчета коэффициента корреляции r, которое имеет следующий вид:

r (3.7).

где в общем случае:

(3.8).

— коэффициент надежности Фланаган-Рюлона:

R (3.9).

— коэффициент надежности Кудер-Ричардсона :

R (3.10).

где Т — средняя трудность заданий.

— коэффициент надежности Кронбаха:

R (3.11).

Таким образом, получены аналитические выражения для расчета ряда характеристик, для вычислений которых более не требуется полный перерасчет данных выборки, а достаточно знать лишь ограниченное число промежуточных параметров. Практическое применение данной методики означает, что для получения нового корректного значения достаточно лишь сохранить ряд дополнительных (служебных) промежуточных результатов, в то время, как данные первоначальной выборки могут уже быть переведены в архив и быть недоступны.