Условия, необходимые для выполнения работ

Ответ на вопрос о том, какие условия необходимы для выполнения этих работ? Это вопрос о том, что необходимо, чтобы выполнить решения об изменении номенклатуры, шаблонов и содержания педагогических материалов.

Рассмотрим ответ на этот вопрос на небольшом примере разработки части фонда оценочных средств (ФОС). ФОС включает в себя кроме других материалов также тесты учебных достижений или педагогические измерительные материалы, предназначенные для измерения уровня предметной обученности учащихся. В настоящее время считается, что разрабатывать эти тесты и измерительные материалы должны профессора и доценты вузов, т.к. именно их обязывают выполнять эту работу.

Какая необходима компетентность кадров, выполняющих эту работу (3.1), какой объем исходных данных (3.2) и какие программные инструментальные средства (3.3) необходимы для ее выполнения, и, самое главное, когда все это делать (3.4) и как эта дополнительная высококвалифицированная объемная работа будет оплачиваться (3.5)?

Технология разработки педагогических измерительных инструментов (тестов уровней предметной обученности)

Для предметного, конкретного и научно аргументированного ответа на эти вопросы кратко рассмотрим порядок разработки педагогических измерительных инструментов (тестов уровней предметной обученности). Прежде всего, отметим, что такие материалы разрабатываются по каждой преподаваемой дисциплине для всех специальностей. педагогический кадры университет Должны быть разработаны вопросы (или другой стимульный материал) для тестов с несколькими вариантами ответов на каждый из них.

Это не только очень не простая в научном отношении, но и просто очень трудоемкая задача, т.к. вопросы должны удовлетворять определенным жестким требованиям и критериям.

Прежде всего, вопросы должны перекрывать (охватывать) все разделы учебного плана и по каждой теме и учебному вопросу должно быть определенное количество тестовых вопросов. Самих вопросов должно быть очень много. Например, в распространенной сейчас системе Имаго в окончательном варианте теста должно быть по 300 вопросов по каждой дисциплине. Кто пробовал просто написать такое количество вопросов с вариантами ответов на них, тот знает, как это тяжело. Но и это еще не самое сложное.

Затем необходимо определить ценность вопросов для решения задачи классификации учащихся по уровням предметной обученности и выбросить все бесполезные и малоценные вопросы, оставив, например, 300. Ясно, что если чтобы в окончательном варианте теста оставить 300 вопросив, в исходном варианте теста их должно быть значительно больше (как показывает опыт авторов — в несколько раз). Такой первоначальный вариант теста, в котором вопросов в несколько раз больше, чем необходимо в окончательном, называют пилотным вариантом теста.

Но, самое главное, что для того, чтобы выполнить этот этап, необходимо провести реальное А не так, как часто бывает, со шпаргалками или их современным вариантом — телефонами тестирование учащихся с помощью пилотного варианта теста и потом математически обработать результаты тестирования. Ясно, что тестировать надо учащихся, изучивших уже весь учебный курс. Уже одно это означает, что разработка теста педагогических достижений никак не может занимать меньше года, а преподавателям отводят на это несколько дней. Это можно объяснить только тем, что те, кто это требует, вообще не представляют себе, чего именно они требуют или они тоже вынуждены делать вид, что это нормально. Кроме того, для проведения пилотного тестирования необходимы соответствующие полномочия и время, которые простые преподаватели, включая профессоров и доцентов, не имеют. Значит необходимо соответствующие организационные решения, планирование и юридическое обеспечение, которые должны быть разработаны и в настоящее время полностью отсутствуют.

Для математической обработки результатов тестирования необходимо соответствующее программное обеспечение, которое должны быть типовым для все вузов, решение о чем должно быть приято на федеральном уровне. Это программное обеспечение еще только должно быть разработано, т. е. в настоящее время его нет. Хотя как его прототип есть основания рассматривать универсальную когнитивную аналитическую систему «Эйдос», разработки автора [2, 3]. Это одна из немногих систем, которая одновременно является и инструментарием для разработки тестов, и средой для их применения в адаптивном режиме, и, по-видимому, единственная подобная система, находящаяся в полном открытом бесплатном доступе на сайте автора [3].

Для количественной оценки ценности вопросов для разделения учащихся по группам уровней предметной обученности авторы предлагают применить подход, описанный в статях [4, 5, 6]. Суть этого подхода состоит в том, что сначала рассчитывается матрица абсолютных частот встречи разных ответов на вопросы в разных группах учащихся, отличающихся уровнем предметной обученности. Кстати, для построения измерительной системы всегда необходимо как минимум два независимых истопника (канала) информации об объектах измерения (в данном случае учащихся). Первый канал — это ответы учащихся на вопросы пилотного теста, а второй канал — это экспертная оценка уровня предметной обученности данного учащегося, т. е. по сути, его оценка преподавателем, ведущим дисциплину. Затем на основе матрицы абсолютных частот рассчитывается матрицаквадрат и матрица условных и безусловных процентных распределений ответов по группам учащихся (классам) и по всей выборке, и, на основе последней, матрицы системно-когнитивных моделей, в частности, матрица информативностей. В этой матрице информативностей строками являются варианты ответов на вопросы, колонками — группы учащихся по уровням предметной обученности (классы), а в клетках находится количество информации в битах о том, что учащийся относится к той или иной группе по уровню предметной обученности, содержащееся в его определенном ответе на тот или иной вопрос (это частный критерий). Считается, что учащийся относится к той группе по уровню предметной обученности, о принадлежности к которой во всех его ответах содержится больше всего информации (это аддитивный интегральный критерий).

По сути, в предлагаемом варианте идет речь о применении нормативного подхода к тестированию, при котором индивидуальные результаты тестирования сравнивается не с критериями, а с определенной базой сравнения, в качестве которой выступает «норма», т. е. в данном случае среднее или картина по всей выборке. Критериальные тесты могут быть при необходимости разработаны на основе тестов, созданных на базе нормативного подхода, т.к. по сути, критериальные тесты являются ключами или измерительными шкалами, созданными на основе нормативных тестов.

Анализ матриц условных и безусловных вероятностей, -квадрат, информативностей и других системно-когнитивных моделей [5] показывает, что все варианты ответов на вопросы могут быть разделены на три основные категории:

• — к 1-й категории относятся варианты ответов, которые встречаются только в одной группе учащихся по уровню предметной обученности, а в других не встречаются (это так называемые детерминистские признаки, которые позволяют однозначно определить принадлежность учащегося к обобщенной группе или классу);
• — ко 2-й категории относятся варианты ответов, которые никогда не встречаются ни в одной группе учащихся по уровню предметной обученности или встречаются во всех группах с равной вероятностью (это так называемые бесполезные признаки, которые вообще не играют никакой роли для разделения учащихся по классам);
• — к 3-й категории относятся варианты ответов, которые встречаются в разных группе учащихся по уровням предметной обученности с разными вероятностями (это так называемые статистические признаки, которые могут оказаться более или менее полезными для разделения учащихся по классам, т. е. могут быть полезными почти как детерминистские признаки, а могут быть и почти бесполезными, но чаще всего занимают промежуточное положение между этими полюсами).

Наиболее ценными для разделения учащихся по классам являются детерминистские признаки (т.е. варианты ответов на вопросы).

Бесполезными для разделения учащихся по классам являются очень простые вопросы, на которые все учащиеся без труда отвечают правильно, и очень сложные, на которые не могут правильно ответить не только учащиеся, но и их преподаватели.

Статистические признаки могут иметь различную ценность для разделения учащихся по классам: от ценности детерминистских признаков, до ценности бесполезных признаков, т. е. до 0.

Авторы предлагают в качестве количественной меры ценности признака для разделения учащихся по классам использовать вариабельность значений в строке, соответствующей признаку, в матрицах условных и безусловных вероятностей, -квадрат, информативностей и других системно-когнитивных моделей [5].

По матрице условных и безусловных вероятностей мы можем определить ценность признаков следующим образом. Если условные вероятности встречи признака в разных группах сильно отличаются, то признак является ценным, если же они отличаются незначительно — то почти бесполезным.

Например, если у учащегося за дверью, длинные волосы, то скорее всего это студентка, т.к. условная вероятность встретить длинные волосы в группе «студентки» значительно выше, чем в среднем по выборке, если же у него брюки, то это не меняет результата классификации, т.к. условная вероятность встретить брюки очень незначительно отличается в группах «студентки», «студенты» и по всей выборке. Таким образом, признак: «длинные волосы» имеет высокую ценность для классификации учащихся по группам «студентки» и «студенты», а «брюки» — низкую. Знание того, есть ли учащегося мобильный телефон является совершенно бесполезным для определения того, студент он или студентка.

По матрице информативностей мы можем определить ценность признаков в терминах количества информации. Если признак содержит много информации о принадлежности к одним группам по уровню предметной обученности и много информации о не принадлежности к другим группам, т. е. если количество информации в признаке о принадлежности и не принадлежности к разным группам сильно отличается, то признак является ценным, если же количество информации в признаке о принадлежности и не принадлежности к разным группам отличается незначительно — то признак почти бесполезный (малоинформативный или неинформативный).

Если продолжить пример с классификацией учащихся по группам «студентки» и «студенты», то можно сказать, что в признаке «длинные волосы» содержится много информации о том, что это студентка, а в признаке «брюки» мало информации о том, что это студент. В признаке «есть телефон» будет ноль информации об этом. Ясно, что в обоих признаках «длинные волосы» и «брюки» суммарно это так называемый аддитивный интегральный критерий [5] будет много информации о принадлежности учащегося с этими признаками к группе «студентки» и много информации о непринадлежности к группе «студенты» .

Теперь, когда мы рассмотрели основные этапы разработки тестов уровня предметной обученности (педагогических измерительных систем), мы можем более предметно, конкретно и аргументировано ответить на вопросы, поставленные выше: какая необходима компетентность кадров, выполняющих эту работу (3.1), какой объем исходных данных (3.2) и какие программные инструментальные средства (3.3) необходимы для ее выполнения, и, самое главное, когда все это делать (3.4) и как эта дополнительная высококвалифицированная объемная работа будет оплачиваться (3.5)?