WikiSort.ru - Не сортированное

Интерпретация

1. Коэффициент детерминации для модели с константой принимает значения от 0 до 1. Чем ближе значение коэффициента к 1, тем сильнее зависимость. При оценке регрессионных моделей это интерпретируется как соответствие модели данным. Для приемлемых моделей предполагается, что коэффициент детерминации должен быть хотя бы не меньше 50 % (в этом случае коэффициент множественной корреляции превышает по модулю 70 %). Модели с коэффициентом детерминации выше 80 % можно признать достаточно хорошими (коэффициент корреляции превышает 90 %). Значение коэффициента детерминации 1 означает функциональную зависимость между переменными.
2. При отсутствии статистической связи между объясняемой переменной и факторами, статистика ${\displaystyle nR^{2}}$ для линейной регрессии имеет асимптотическое распределение ${\displaystyle \chi ^{2}(k-1)}$ , где ${\displaystyle k-1}$  — количество факторов модели (см. тест множителей Лагранжа). В случае линейной регрессии с нормально распределёнными случайными ошибками статистика ${\displaystyle F={\frac {R^{2}/(k-1)}{(1-R^{2})/(n-k)}}}$ имеет точное (для выборок любого объёма) распределение Фишера ${\displaystyle F(k-1,n-k)}$ (см. F-тест). Информация о распределении этих величин позволяет проверить статистическую значимость регрессионной модели исходя из значения коэффициента детерминации. Фактически в этих тестах проверяется гипотеза о равенстве истинного коэффициента детерминации нулю.
3. В общем случае коэффициент детерминации может быть и отрицательным, это говорит о крайней неадекватности модели: простое среднее приближает лучше.

Скорректированный (adjusted) ${\displaystyle R^{2}}$

Для того, чтобы была возможность сравнивать модели с разным числом факторов так, чтобы число регрессоров (факторов) не влияло на статистику ${\displaystyle R^{2}}$ обычно используется скорректированный коэффициент детерминации, в котором используются несмещённые оценки дисперсий:

${\displaystyle R_{adj}^{2}=1-{\frac {s^{2}}{s_{y}^{2}}}=1-{\frac {SS_{res}/(n-k)}{SS_{tot}/(n-1)}}=1-(1-R^{2}){(n-1) \over (n-k)}\leqslant R^{2}}$

который даёт штраф за дополнительно включённые факторы, где n — количество наблюдений, а k — количество параметров.

Данный показатель всегда меньше единицы, но теоретически может быть и меньше нуля (только при очень маленьком значении обычного коэффициента детерминации и большом количестве факторов). Поэтому теряется интерпретация показателя как «доли». Тем не менее, применение показателя в сравнении вполне обоснованно.

Для моделей с одинаковой зависимой переменной и одинаковым объёмом выборки сравнение моделей с помощью скорректированного коэффициента детерминации эквивалентно их сравнению с помощью остаточной дисперсии ${\displaystyle s^{2}=SS_{res}/(n-k)}$ или стандартной ошибки модели ${\displaystyle s}$ . Разница только в том, что последние критерии чем меньше, тем лучше.

Информационные критерии

AIC — информационный критерий Акаике — применяется исключительно для сравнения моделей. Чем меньше значение, тем лучше. Часто используется для сравнения моделей временных рядов с разным количеством лагов.
${\displaystyle AIC={2k \over n}+\ln {SS_{res} \over n}}$ , где k— количество параметров модели.
BIC или SC — байесовский информационный критерий Шварца — используется и интерпретируется аналогично AIC.
${\displaystyle BIC={k\ln {n} \over n}+\ln {SS_{res} \over n}}$ . Даёт больший штраф за включение лишних лагов в модель, чем AIC.

${\displaystyle R^{2}}$ -обобщённый (extended)

В случае отсутствия в линейной множественной МНК регрессии константы свойства коэффициента детерминации могут нарушаться для конкретной реализации. Поэтому модели регрессии со свободным членом и без него нельзя сравнивать по критерию ${\displaystyle R^{2}}$ . Эта проблема решается с помощью построения обобщённого коэффициента детерминации ${\displaystyle R_{extended}^{2}}$ , который совпадает с исходным для случая МНК регрессии со свободным членом, и для которого выполняются четыре свойства, перечисленные выше. Суть этого метода заключается в рассмотрении проекции единичного вектора на плоскость объясняющих переменных.

Для случая регрессии без свободного члена:
${\displaystyle R_{extended}^{2}=1-{Y'*(I-P(X))*Y \over Y'*(I-\pi (X))*Y}}$ ,
где X — матрица nxk значений факторов, ${\displaystyle P(X)=X*(X'*X)^{-1}*X'}$  — проектор на плоскость X, ${\displaystyle \pi (X)={P(X)*i_{n}*i_{n}'*P(X) \over i_{n}'*P(X)*i_{n}}}$ , где ${\displaystyle i_{n}}$  — единичный вектор nx1.

${\displaystyle R_{extended}^{2}}$ с условием небольшой модификации, также подходит для сравнения между собой регрессий, построенных с помощью: МНК, обобщённого метода наименьших квадратов (ОМНК), условного метода наименьших квадратов (УМНК), обобщённо-условного метода наименьших квадратов (ОУМНК).