WikiSort.ru - Не сортированное

Среднеобратный ранг (MRR) — статистическая оценка откликов процесса на запросы, упорядоченных по вероятности и правильности. Характеризует эффективность информационного поиска. Обратный ранг в данном случае означает обратное число номера (ранга) первого правильного ответа в списке откликов. Среднеобратный ранг определяется как среднее обратных рангов по всем запросам Q:^[1]

${\displaystyle {\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!}$

где ${\displaystyle {\text{rank}}_{i}}$ означает положение первого релевантного документа для запроса i.

Обратное значение среднеобратного ранга соответствует среднему гармоническому между рангами.

Пример

Рассмотрим три запроса, которые переводят русские слова из единственного числа в родительный падеж множественного числа. Во всех случаях данного примера система делает три попытки, первые попытки считаются системой наиболее правильными:

По этим примерам мы вычисляет среднеобратный ранг как (1/3 + 1/2 + 1)/3 = 11/18 , то есть приближённо 0.61.

Если же ни один из ответов не правильный, среднеобратный ранг считается равным 0. Обратите внимание, что только первый релевантный ответ учитывается, а последующие релевантные ответы игнорируются.

См. также

• Информационный поиск
• Вопросно-ответная система ^[2]

Ссылки

• (2002) "Evaluating web-based question answering systems". Proceedings of LREC. 

Примечания