WikiSort.ru - Не сортированное

Современная теория тестирования (англ. Item Response Theory) — набор методов, позволяющий оценить вероятность правильного ответа испытуемых на задания различной трудности. Она используется для того чтобы избавиться от плохих (неинформативных) вопросов в опросе и предоставить вопросы с адекватными баллами на основе их сложности. На русском язык название Item Response Theory переводится различным образом. Ю.Нейман и В.Хлебников предлагают называть ее «Теория моделирования и параметризации педагогических тестов» (ТМППТ)^[1]. В.Аванесов — «Математико-статистическая теория оценки латентных параметров заданий теста и уровня подготовленности испытуемых»^[2].

В психометрии современная теория тестов (IRT) является парадигмой для проектирования, анализа и оценки тестов, опросников и подобных измерительных инструментов, отношений или других переменных. Это теория тестирования, основанная на взаимосвязи между качеством ответов на вопросы и общим качеством знания, которое проверяется в тесте. Для представления характеристик вопроса и респондента берутся несколько различных статистических моделей^[3]. В отличие от более простых альтернатив для создания шкал и оценки ответов на вопросники, современная теория тестов не предполагает, что каждый вопрос одинаково трудный. Это отличает IRT от, например, предположения Ликерта в шкалировании о том, что «все элементы считаются репликациями друг друга или другими словами: элементы считаются параллельными инструментами»^[4]. Напротив, современная теория тестов рассматривает сложность каждого элемента (ICC — кривая характеристики элемента) как информацию, которая должна быть включена в масштабирование элементов.

Теория основана на применении связанных математических моделей для тестирования данных. Она по названию относится к фокусу теории вопроса. Таким образом, IRT моделирует ответ каждого испытуемого на каждый элемент теста. IRT основан на идее о том, что вероятность правильного ответа на элемент является математической функцией параметров человека и элемента.

История

Общим источником для создания IRT послужила так называемая логистическая функция вида ${\displaystyle y={\frac {e^{x}}{1+e^{x}}}}$ , известная в биологической науке с 1844 года. С тех пор она широко применялась в биологии для моделирования прироста растительной массы или роста организмов. Как модель психологического и педагогического измерения она начала применяться, начиная с 50-х годов XX столетия. У истоков развития моделей IRT лежали стремление визуализировать формальные характеристики тестовых заданий, попытки преодолеть многочисленные недостатки классической теории тестов, повысить точность измерения и, наконец, стремление оптимизировать процедуру контроля за счет адаптации теста к уровню подготовленности студента с помощью компьютера^[2].

Первоначальная работа IRT как теории возникла в 1950-х и 1960-х годах. Это были участники организации Educational Testing Service^[en]: Фредерик Лорд^[en], датский математик Георг Раш^[en] и австрийский социолог Полом Лазарсфельдом. Ключевыми фигурами, продвигавшими прогресс IRT, являются Бенджамин Дрейк^[en] и Дэвид Андрич^[en].

В числе первых предпосылок к созданию IRT стали те результаты исследовательской работы Альфред Бине и Теодор Симон^[5], в которых было отражено стремление авторов выявить — как, образно говоря, «работают» те задания, которые они давали детям разного возраста. Расположив затем на координатной плоскости точки, где по оси абсцисс откладывался возраст (в годах), а по оси ординат — доля правильных ответов в каждой возрастной группе испытуемых, авторы увидели, что полученные точки, после усреднения по каждой группе, напоминают кривую, позже названной характеристической.

В 1936 году M.W.Richardson провела обширное эмпирическое исследование, опросив 1200 студентов по 803 заданиям, в процессе которого студенты, в зависимости от полученного ими тестового балла, были разделены на 12 групп, по сто человек в каждой. Она первой обратила внимание на различающуюся крутизну кривых тестовых заданий и выдвинула идею рассматривать меру крутизны как примерную оценку дифференцирующей способности задания^[6]. M.W.Richardson была, по-видимому, первой, осознавшей плодотворность использования усреднённых точек для графической презентации формальных характеристик заданий проектируемых тестов^[7].

В частности, целью IRT является создание основы для анализа того, насколько хорошо работают оценки, и насколько хорошо работают отдельные элементы оценки. Наиболее распространенная область применения IRT — образование, где психометристы используют его для разработки и дизайна экзаменов, поддержания банков вопросов для экзаменов и сравнения трудностей вопросов для последующих версий экзаменов^[8].

Функция ответа элемента (Item Response Function IRF)

IRF дает вероятность того, что человек с заданным уровнем способности ответит правильно.

Три параметра логистической модели

Например, в трёхпараметрической логистической модели (3PL) вероятность правильного ответа на дихотомический элемент i, как правило, вопрос с множественным выбором, есть:

${\displaystyle p_{i}({\theta })=c_{i}+{\frac {1-c_{i}}{1+e^{-a_{i}({\theta }-b_{i})}}}}$

Где ${\displaystyle {\theta }}$ указывает, что способности человека моделируются как образец из нормального распределения с целью оценки параметров элемента. После оценки параметров вопроса возможности каждого оцениваются для целей отчетности. ${\displaystyle a_{i}}$ , ${\displaystyle b_{i}}$ и ${\displaystyle c_{i}}$ — это параметры элемента. Параметры элемента определяют форму функции ответа элемента. На рисунке 1 изображен идеальный 3PL ICC.

Параметры элемента можно интерпретировать как изменение формы стандартной логистической функции:

${\displaystyle P(t)={\frac {1}{1+e^{-t}}}.}$

Параметры, по которым характеризуются элементы теста:

• b — трудность. Это значение указывает нам, насколько легок или сложен вопрос. ${\displaystyle p(b)=(1+c)/2,}$ положение функции
• a — дискриминация. Это значение говорит нам, насколько эффективно этот вопрос может различать студентов по уровню их знания. ${\displaystyle p'(b)=a\cdot (1-c)/4}$ — максимальный наклон
• c — угадывание. Это значение указывает нам, насколько вероятно, что испытуемые могут получить правильный ответ, угадывая. ${\displaystyle p(-\infty )=c}$ — ассимптотический минимум

Модели IRT

Модели IRT можно разделить на два семейства: одномерные и многомерные. Одномерные модели требуют единственного значения (способности) измерения ${\displaystyle {\theta }}$ . Предполагается, что модельные ответы на многомерные модели IRT предполагают возникновение множественных признаков. Однако из-за значительно большей сложности большинство исследований и применений IRT используют одномерную модель.

Модели IRT также можно классифицировать по количеству полученных ответов. Типичный элемент множественного выбора является дихотомическим; Несмотря на возможность четырех или пяти вариантов, он по-прежнему считается только правильным/неправильным. Другой класс моделей применим к политомическим результатам, где каждый ответ имеет другое значение оценки^[9]. Общим примером этого являются элементы типа шкалы Ликерта, например «от 1 до 5»

Число параметров, входящих в аналитическое задание функций, является основанием для подразделения семейств логических функций на классы.

Среди логистических функций различают^[10]:

1) Однопараметрическую модель Г. Раша — ${\displaystyle P_{j}(\theta )={\frac {e^{1.7(\theta -b_{j})}}{1+e^{(\theta -b_{j})}}}}$ И ${\displaystyle P_{j}(\theta )={\frac {e^{1.7(\theta -b)}}{1+e^{(\theta -b)}}}}$ Где ${\displaystyle \theta }$ и ${\displaystyle b}$ — независимые переменные для первой и второй функций соответственно; Множитель 1,7 используется для совместимости модели G.Rasch с моделью A.Fergusson, где вероятность правильного ответа на задание выражена интегралом нормального распределения, что позволяет использовать вместо логистических кривых хорошо изученную интегральную функцию нормированного нормального распределения.

Модель Раша носит название «1 Parametric Logistic Latent Trait Model» (1PL), а модель A.Fergusson — «1 Parametric Normal Ogive Model» (1PN). Поскольку модель Раша описывает вероятность успеха испытуемого как функцию одного параметра (${\displaystyle \theta _{j}-b_{j}}$ ), то иногда ее называют однопараметрической моделью IRT.

Взаимодействие двух множеств ${\displaystyle {\theta _{j}}}$ и ${\displaystyle b_{j}}$ образует данные, обладающие свойством «совместной аддитивности» (conjoint additivity). Правильное использование модели Раша позволяет отделить оценки испытуемых от оценок трудности заданий и наоборот. Это свойство Rasch Measurement носит название separability parameter estimates — «независимость оценок заданий от испытуемых и оценок испытуемых от параметров заданий».

На рис. 2 показаны три характеристические кривые с трудностями заданий -2, 0 и +2 логита (первое самое легкое, второе — среднее, третье самое трудное). Из приведенных зависимостей видно, что чем выше уровень подготовленности θ испытуемого, тем выше вероятность успеха в том или ином задании. Например, для испытуемого с ${\displaystyle {\theta _{j}}=0}$ вероятность правильно ответить на первое задание близка к единице, на второе равна 1/2 и на третье почти равна нулю. Отметим, что в точках, где ${\displaystyle {\theta _{j}}=b}$ вероятность правильного ответа равна 0,5. То есть, если трудность задания равна уровню подготовленности (ability) испытуемого, то он с равной вероятностью может справиться или не справиться с этим заданием.

Характеристические (логистические) кривые для заданий теста в англоязычной литературе называются Item Characteristic Curve (ICC).

На рис. 3 показаны три характеристические кривые испытуемых — «Person Characteristic Curve» (PCC). Показаны графики для трех испытуемых с уровнем подготовленности -2 логита (самый слабый), 0 логитов (средний) и +2 логита (сильный испытуемый).

Из приведенных зависимостей видно, что чем выше уровень подготовленности, тем выше вероятность правильного ответа на задание. Например, задание с трудностью b = 0 первый испытуемый ( q=-2) практически не сможет выполнить, второй q = 0) имеет вероятность выполнения задания равную 0.5, третий q=+2) легко справится с заданием, так как для него вероятность успеха почти равна единице.

2) двухпараметрическую модель А. Бирнбаума^[en] —

Если тест содержит задания с различной дифференцирующей способностью, то однопараметрическая модель 1PL не может описать такие эмпирические данные. Для преодоления этой трудности А.Бирнбаум ввел еще один параметр — a (item discrimination parameter).

Параметр aj определеяет наклон (крутизну) характеристической кривой j-го заданий. Примеры характеристических кривых показаны на рис. 3. Видно, что чем больше aj тем круче идет кривая, тем выше дифференцирующая способность задания.

Для еще лучшего соответствия эмпирическим данным А.Бирнбаум ввел третий параметр c — параметр угадывания. На рис. 5 приведены примеры характеристических кривых для трех заданий с трудностью β = 1, дискриминационным параметром aj = 1 и различными параметрами угадывания cj = 0, cj = 0.25, cj = 0.5.

Из приведенных графиков видно, что наличие параметра угадывания приводит к пропорциональному смещению ICC вверх на величину cj.

3) трехпараметрическую модель А. Бирнбаума

где Cj является третьим параметром модели, характеризующим вероятность правильного ответа на j-е задание в том случае, если этот ответ угадан, а не основан на знаниях.

Модель Раша

Характерной особенностью модели Раша является то, что характеристические кривые (ICC) не пересекаются (рис.3). Это означает, что если некоторое задание «А» легче задания «Б», то это соотношение сохраняется во всем интервале изменения θ.

Совершенно иная картина наблюдается для двух- и трехпараметрической моделей. На рис.4 это хорошо видно. Задание с αj = 0,5 в области положительных значений θ является самым трудным из представленных трех заданий, то есть вероятность правильного ответа на это задание самая низкая. В области же отрицательных значений q это же задание теперь уже самое легкое — вероятность правильного ответа на него наибольшая. Получается, что для слабых учащихся это самое легкое задание, а для сильных учащихся — самое трудное.

Аналогичная картина наблюдается и для трехпараметрической модели. На рис.5 показан редкий случай непересекающихся характеристических кривых, так как для них выбраны одинаковые параметры βj=1 и αj=1, то есть все три задания имеют одинаковую трудность и одинаковый параметр дифференцирующей способности.

На рис.6 приведен другой пример. Здесь у задания с параметром cj=0 изменена трудность βj= -1, что немедленно вызвало пересечение характеристических кривых. Задание с cj=0 в области θ < -2 является самым трудным. В области -1,5 < θ < -1 это задание легче задания с cj=0,25 и труднее задания с cj=0,5. В области θ > -1 задание с cj=0 является самым легким. Подобное пересечение ICC практически всегда происходит для двух- и трехпараметрической моделей.

Таким образом, только однопараметрическая модель Раша соответствует требованиям, предъявляемым к качественному измерительному инструментарию. Именно модель RASCH MEASUREMENT больше всего пригодна для построения теста, как измерительного инструмента.

Основные допущения IRT^[11]

1) существуют латентные/скрытые параметры личности (которые недоступны для непосредственного наблюдения). Например, в интеллектуальном тестировании — это уровень подготовленности испытуемого и уровень трудности задания);

2) существуют индикаторы, которые связаны с латентными параметрами, но в отличие от них, доступны для наблюдения. По значениям индикаторов можно судить о значениях латентных параметров;

3) оцениваемый латентный параметр должен быть одномерным (шкала должна измерять одну и только одну переменную.) Если условие одномерности не выполняется, то необходимо работать над тестом, проверить согласованность заданий, размерность теста и т.д. Все задания, которые нарушают гомогенность, должны быть исключены из шкалы.

Сравнение современной и классической теорий тестов^[12]

См. также

• Надёжность психологического теста
• Психологическое тестирование
• Concept inventory^[en]
• Differential item functioning^[en]
• Person-fit analysis^[en]
• Психометрия
• Scale (social sciences)^[en]
• Стандартизованный тест

Примечания

Литература

• Lord, F.M. (1980). Applications of item response theory to practical testing problems. Mahwah, NJ: Erlbaum.
• Embretson, Susan E. Item Response Theory for Psychologists / Susan E. Embretson, Reise. — Psychology Press, 2000. — ISBN 978-0-8058-2819-1.
• Baker, Frank (2001). The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD.
• Baker, Frank B. Item Response Theory: Parameter Estimation Techniques / Frank B. Baker, Kim. — 2nd. — Marcel Dekker, 2004. — ISBN 978-0-8247-5825-7.
• Handbook of Modern Item Response Theory. — Springer, 1996. — ISBN 978-0-387-94661-0.
• de Boeck, Paul. Explanatory Item Response Models: A Generalized Linear and Nonlinear Approach / Paul de Boeck, Wilson. — Springer, 2004. — ISBN 978-0-387-40275-8.
• Fox, Jean-Paul. Bayesian Item Response Modeling: Theory and Applications. — Springer, 2010. — ISBN 978-1-4419-0741-7.
• Крокер, Линда. Введение в классическую и современную теорию тестов / Линда Крокер, Джеймс. — ВЫСШЕЕ ОБРАЗОВАНИЕ СЕГОДНЯ, 2010. — ISBN 978-5-98704-437-5.

Ссылки

• "HISTORY OF ITEM RESPONSE THEORY (up to 1982)", en:University of Illinois at Chicago
• A Simple Guide to the Item Response Theory(PDF)
• Psychometric Software Downloads
• flexMIRT IRT Software
• IRT Tutorial
• IRT Tutorial FAQ
• An introduction to IRT
• The Standards for Educational and Psychological Testing
• IRT Command Language (ICL) computer program
• IRT Programs from SSI, Inc.
• IRT Programs from en:Assessment Systems Corporation
• Latent Trait Analysis and IRT Models
• Rasch analysis
• Rasch Analysis Programs from Winsteps
• Free IRT software
• Пакеты для применения IRT в R
• IRT / EIRT support in Lertap 5
• ShinyItemAnalysis (2017) приложение для работы с IRT онлайн
• Задачи оценивания параметров модели IRT
• Применение IRT в тестировании учебных достижений