ИССЛЕДОВАНИЕ ТРУДНОСТИ И ДИФФЕРЕНЦИРУЮЩЕЙ СПОСОБНОСТИ КОНКУРСНЫХ ЗАДАНИЙ

В. А. Лазарев, Р. Я. Хайбуллин

Аннотация


Данная статья посвящена методу оценки относительной трудности и дифференцирующей способности заданий, предлагаемых в рамках одного теста, конкурса, предметной олимпиады. Основным объектом исследования, на основе которого строятся все выводы, является эмпирическая функция успеха решения задания. Степень согласованности ее с теоретической функцией, принятой в Item Response Theory (IRT), служит количественным признаком дифференцирующей способности конкретного задания. Входящие в модель параметры характеризуют трудность задания и указывают, относительно какого уровня подготовки производится разделение студентов по их подготовке. Численной характеристикой соответствия теоретической и эмпирической функций служит сумма квадратов разностей их значений на равномерной сетке. Проверка гипотезы адекватности проводится с помощью критерия согласия, критические значения которого определяются в численных экспериментах методом Монте-Карло. Уровень значимости интерпретируется как показатель валидности задания, его соответствия уровню подготовке участников олимпиады. Исследование мотивировано необходимостью точного оценивания характеристик олимпиадных задач с целью более обоснованного определения победителей. В заключении приведен пример практического анализа задач организованной УГНТУ олимпиады по математике среди школьников.


Ключевые слова


criteria distributions;discrimination power;IRT;item discrimination;Monte-Carlo method;statistical hypothesis;дифференцирующая способность;закон распределения критерия;метод Монте-Карло;статистические гипотезы;функция успеха

Полный текст:

PDF

Литература


Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. 432 с.

Rasch G. Probabilistic Model for Some Intelligence and Attainment Tests. Copenhagen, Denmark: Danish Institute for Educational Research, 1960. 126 p.

Linden W., Hambleton R. Handbook of Modern Item Response Theory. NY: Springer Verlag. 1997. 510 p.

Цыганов Ш. И. Математические методы педагогических измерений. // Вестник Башкирского университета. 2009. Т. 14, № 3. С. 1263-1270.

Саяпин А. В., Сафонов К. В. Оценка дифференцирующей способности компьютерного теста методами имитационного моделирования // Вестник Красноярского государственного педагогического университета им. В. П. Астафьева. 2012. № 2. С. 138-143.

Сафаров Р. Х., Панищев О. Ю. Численное моделирование инвариантности оценки знания относительно трудности тестовых заданий в рамках модели Г. Раша // Образовательные технологии и общество. 2012. Т. 15. № 1. С. 424-435.

Белобородов В. Н., Татур А. О. Применение современной теории тестирования IRT в системе контроля измерительных свойств диагностических материалов // Педагогические измерения. 2016. № 2. С. 85-97.

Лазарев В. А. Итерационная модель оценки результатов предметных олимпиад // Педагогическая информатика. 2017. № 1. С. 3-9.

Лазарев В. А., Хайбуллин Р. Я. Метод статистической оценки относительной сложности олимпиадных и тестовых задач // Нефтегазовое дело: электрон. науч. журн. 2014. № 5. С. 420-430. URL: http://ogbus.ru/issues/5_2014/ogbus_5_2014_p420-430_LazarevVA_ru.pdf.




DOI: http://dx.doi.org/10.17122/ogbus-2017-6-253-267

Ссылки

  • На текущий момент ссылки отсутствуют.