158. На основании каких показателей можно судить о качестве регрессионной модели в целом? 

При проверке качества модели в первую очередь стоит обращать внимание на то, соответствует ли она логике экономического процесса, т.е. мы должны смотреть, реалистичны ли знаки коэффициентов перед независимыми переменными и реалистична ли их величина.

Традиционно качество регрессии оценивается с помощью: , t-статистики и F-статистики.

Далее – подробный ответ. В принципе, не нужен – как и говорил Черняк. Однако может пригодиться в подготовке, решайте сами. «Ненужное» выделил серым.

R² (коэффициент детерминации):

Коэффициент детерминации показывает объясняющую способность регрессии.

Формула = , где

-расчётное (оно же теоретическое и предсказанное) значение

- выборочное среднее.

Чем выше , тем больше построенная нами линия регрессии соответствует всем наблюдениям. Поэтому если мы хотим по регрессии строить предсказания (т.е. подставлять значения независимых переменных и получать точную, правдивую оценку зависимой), нам необходим высокий .

t-статистика:

t-статистика соизмеряет значение коэффициента с его стандартной ошибкой. Фактически же мы проверяем гипотезу о том, равен нулю коэффициент при рассматриваемой переменной или нет. Т.е:

Ho: коэффициент=0. Если эта гипотеза верна, то коэффициент не значим.

Ha: коэффициент не равен 0. Если эта гипотеза верна, то коэффициент значим.

Выяснить, отвергается нулевая гипотеза или нет, можно 2 способами:

1. Метод критических значений (по таблицам):

a)      Находим фактическое значение t (Черняк не говорил формулу, так что она м.б. и не нужна):

t= , где

SE – стандартная ошибка коэффициента.

b)      Определяем число степеней свободы

   df .=n-k=25-2=23

   n – число наблюдений

   k – число оцененных параметров

c)      Выбираем уровень значимости (т.е. вероятность ошибки): 1% или 5%.

d)     Находим критическое значение по таблице:

в таблице выбираем клетку в строке, соответствующей числу степеней свободы и в столбце, соответствующем выбранному уровню значимости.

e)      Сравниваем фактическое значение с табличным:

Если t > t  , то коэффициент значим на выбранном уровне значимости (лучше сначала на 1% проверить). Т.е. нулевая гипотеза отвергается.

Если t < t  , то коэффициент не значим. Нулевая гипотеза не отвергается.

1. Метод «p-value» («метод значения вероятности»). Используется при работе в EViews:

p-value = Prob – вероятность того, что случайно (по другой выборке, другим исследователем) будет получен результат лучше, чем у нас (тот, что рассчитан).

Процедура проверки:

a)      Сравниваем значение Prob из EViews с 1% (т.е. с 0.01).

b)      Если Prob.< 0.01, то коэффициент значим на 1% уровне.

c)       Если Prob.> 0.01, тогда проверяем его значимость на 5% (сравниваем с 0.05)

 

F-статистика: 

F-статистика представляет собой отношение объясненной суммы квадратов (в расчете на одну независимую переменную) к остаточной сумме квадратов (в расчете на одну степень свободы).

Фактически проверяем гипотезу:

Но: все коэффициенты при независимых переменных равны нулю ( )

На: хотя бы один из них нулю не равен.

 

Выяснить, отвергается нулевая гипотеза или нет, можно 2 способами:

1. По таблицам:

a)      Рассчитываем фактическое по формуле:

F(k-1,n-k)= , где

k - число объясняющих переменных.

 

b)      Находим табличное:                                                                                                         

• Выбираем уровень значимости α (1% или 5%)
• Вычисляем число степеней свободы: 1 и (n-2).
• По таблицам F-распределения Фишера определяем критическое значение Fα, 1, n-2 (всегда одностороннее)

c)      Если Fстатистика(фактическое) > Fα , 1, n-2, то уравнение в целом является значимым при выбранном уровне значимости α .

d)     В противном случае уравнение в целом незначимо (на данном уровне α ).

1. В EViews:

Точно так же, как в случае с t-статистикой, сравниваем с Prob.

 

159. Для чего используется F-критерий при оценке качества уравнения множественной регрессии? 

 

F-статистика используется для анализа дисперсии. После получения F-статистики можно провести F-тест, который определит, действительно ли объясненная сумма квадратов больше той, которая может иметь место случайно. Для этого ищем критическое значение F в таблице Фишера с (k; n-k-1) степенями свободы и сравниваем с F-статистикой. Если расчетное значение больше, чем критическое, то уравнение в целом значимо на том уровне, на котором вы смотрели в таблице.

 

160. Как рассчитать значение F-критерия для множественной регрессии, исходя из знания сумм квадратов остатков? 

При использовании регрессионого анализа для деления дисперсии зависимой переменной 

на «объясненную» и «необъясненную» составляющие, можно построить

F-статистику:

где ESS— объясненная сумма квадратов отклонений;

RSS— остаточная (необъясненная) сумма квадратов;

к — число степеней свободы, использованное на объяснение.

С помощью этой статистики можно выполнить F-тест для определения того, действительно ли объясненная сумма квадратов больше той, которая может иметь место случайно. Для этого нужно найти критический уровень F в колонке, соответствующей к степеням свободы, и в ряду, соответствующем (п-к-1) степеням свободы, в той или иной части табл. А.З. Чаще всего F-тест используется для оценки того, значимо ли объяснение, даваемое уравнением в целом. Кроме того, с помощью F-статистик можно выполнить

ряд дополнительных тестов (Доугерти, стр. 160).

 

161. Как рассчитать значение F-критерия для множественной регрессии, исходя из знания коэффициента детерминации R²? 

 

 

162. Какова особенность расчета числа степеней свободы для F-критерия в множественной регрессии? 

 

 

В данном случае учитываются две степени свободы v₁ и v₂.

v₁ = k

v₂ = n – k – 1

k – число объясняющих переменных (без константы)

Fкрит = (уровень значимости; v₁; v₂)

 

163. Каков вид F-распределения? Почему обычно используются только односторонние F-критерии? 

F-распределение является асимметричным.

Обычно используется односторонние критерии, так как это позволяет спасти значимость коэффициентов регрессии при том же уровне значимости.

Функция плотности вероятности F-распределения для степеней свободы a и b приведена на графике справа.

В эконометрике количество наблюдений всегда превышает одно, следовательно, график плотности вероятности распределения Фишера имеет вид, как на рисунке обозначено зеленым и фиолетовым.

Односторонний критерий имеет более высокую мощность, чем двухсторонний критерий — при той же вероятности ошибочного отклонения нулевой гипотезы. Это говорит о предпочтительности одностороннего критерия по сравнению с двухсторонним.

 

164. Каков содержательный смысл отношения Фишера в определении F-критерия? 

F-статистика представляет собой отношение объясненной суммы квадратов (в расчете на одну независимую переменную) к остаточной сумме квадратов (в расчете на одну степень свободы), где k - число объясняющих переменных. Улучшение уравнение может происходить за счет добавления переменных, поэтому сумма квадратов остатков – эталонное значение – распределяется по количеству переменных, и сравниваются значения суммы квадратов остатков, объясненных регрессией и остаточных.

 

165. Каковы общие принципы выбора уровня значимости при использовании F-критерия для оценки качества уравнения в целом? 

С одной стороны, большой уровень значимости дает большую уверенность в том, что альтернативная гипотеза значима. Но при этом возрастает риск не отвергнуть ложную нулевую гипотезу (ошибка второго рода). Таким образом, выбор уровня значимости требует компромисса между значимостью и риском ошибки и, следовательно, между вероятностями ошибок первого и второго рода. Обычно гипотезы проверяются на уровне значимости 1% или 5% (тоже самое, что и для уровня значимости при оценки коэффициентов).

 

166. Для чего используются t-тесты для коэффициентов регрессии и какова интерпретация их результатов? 

t-тесты  обеспечивают проверку значимости предельного вклада каждой переменной при допущении, что все остальные переменные уже включены в модель.

t-тесты нужны для того, чтобы отвергнуть или не отвергнуть гипотезу о равенстве коэффициента перед переменной нулю. Если мы отвергаем гипотезу, значит, коэффициент значим. Условие того, что оценка регрессии приводит к отказу от нулевой теории H₀: β₂= β₂⁰ (β₂⁰принимается равным 0), следующее:

t-крит <

= t-статистика, причем, т.к. = 0, t-статистика = . t-статистика соизмеряет значение коэффициента с его стандартной ошибкой        

Сравнивая значение коэффициента с его стандартной ошибкой, можно судить о значимости коэффициента.

Иначе условие значимости можно записать так: t-крит<|t-статистика|

Однако незначимость коэффициента регрессии не всегда может служить основанием для исключения соответствующей переменной из модели.

 

167. Какова связь между F-критерием и t-критериями для коэффициентов регрессии? Есть ли связь между соответствующими критическими значениями? 

В случае множественного регрессионного анализа. F-статистика = квадрату t-статистики (F = t²).

Между критическими значениями, при любом заданном уровне значимости:

F-крит. = t²-крит. (при двустороннем тесте).

 

168. Как проверить гипотезу о значимости коэффициента детерминации? В чем смысл такого теста? 

F-тест. Это нужно для проверки значимости уравнения в целом.

Иногда, даже если R² и коэффициент корреляции в точности равны 0, это не значит, что зависимость отсутствует. Зависимость может и присутствовать. Возможно она слабая, но есть. F-тест помогает узнать действительно ли полученное для регрессии значение R² или нет (отражает существует ли истинная зависимость  или нет).

F-тест основан на анализе дисперсии. Дисперсию зависимой переменной можно разложить на «объясненную»  и «необъясненную» составляющие дисперсии, используя уравнение:

 

Левая часть является общей суммой квадратов (TSS) отклонений зависимой переменной от ее выборочного среднего значения. Первый член в правой части является объясненной суммой квадратов (ESS), а второй член – необъясненной (остаточной) суммой квадратов (RSS):

TSS = ESS + RSS

F-статистика для проверки общего качества регрессии записывается как отношение объясненной суммы квадратов в расчете на одну независимую переменную, деление на остаточную сумму квадратов в расчете на одну степень свободы:

 

Где k – число оцениваемых параметров в уравнении регрессии (k-1 – коэффициенты наклона).

После преобразования получаем:

 

После вычисления F-критерия по значению R² вы отыскиваете величину F_крит – критический уровень F в соответствующей таблице.

Если F > F_крит, то нулевая гипотеза отклоняется и вывод: имеющееся объяснение поведения величины Y лучше, чем можно было получить  чисто случайно. В каждом случае критический уровень зависит от числа независимых переменных (k-1), которое находится в верхней строке таблицы, и от числа степеней свободы (n-k), которое находится в крайнем левом ее столбце.

На практике F-статистика всегда вычисляется вместе с величиной R². Может возникнуть вопрос, почему нет таблиц значений R²? Ответ: таблица значений F-критерия является полезной для многих видов проверки дисперсии, одним из которых является расчет коэффициента R².

Более подробно смотрите наш учебник Доугерти (с. 116).

 

 

169. Как формулируется нулевая гипотеза при использовании F-теста для оценки качества уравнения в целом? 

Все коэффициенты наклона в уравнении одновременно равны нулю.

170. Почему суммы квадратов остатков, как правило, не сравнимы, а стандартные ошибки регрессии в определенных случаях сравнимы? В каких? 

С RSS не сравнимы из-за разницы в масштабах линейной и логарифмической моделей.
Стандартные ошибки сравнимы относительно, через t-статистики – они везде работают (ответ Черняка).

 

171. Как делается тест на значимость коэффициента множественной регрессии? 

Значимость коэффициентов множественной регрессии проверяется по t-критерию Стьюдента.

,  расчетное значение t-статистики коэффициента bi

 

172. Можно ли считать модель верной, если модель в целом значима, и все ее коэффициенты значимы?

Нет, эконометрика ничего не проверяет, а только проверяет гипотезы с определённой ошибкой. Но такая ситуация – сильный аргумент в пользу верности.

 

173. Почему t-статистики нельзя использовать для анализа данных по всей изучаемой совокупности? 

Потому что t-статистики могут быть использованы только для конкретной выборки.

 

174. Могут ли существовать несколько «одинаково хороших» множественных регрессий с одной и той же зависимой переменной и разным составом объясняющих переменных? 

Если говорить о поверхностных различиях, то – да, например, такое часто наблюдается при замене одной переменной другой, сильно коррелированной с первоначальной. Для окончательного уточнения вида модели тогда придется проводить другие, более специфичные тесты. (например, доход зависит от многих переменных, которые «подменяют» друг друга и сложно оценить вклад каждой)