Ортогональная регрессия. 
Эконометрика

Пусть исследователь имеет в своем распоряжении набор случайных точек (х, у.), i = 1, 2,…, N. Соответствующее этому набору корреляционное поле представлено на рис. 3.5. Напомним, что если необходимо построить модель прямой регрессии, то следует минимизировать сумму квадратов отклонений наблюдаемых значений отклика от соответствующих прогнозных значений. Геометрически это означает минимизацию длин отрезков типа АА .

При построении обратной регрессии, когда в качестве отклика выбирается переменная х, минимизируются длины отрезков АА_х. Различия в получаемых уравнениях регрессии во многом определяются разными единицами и масштабами измерений входной и выходной переменных.

Главное отличие модели ортогональной регрессии от рассмотренных выше состоит в том, что расстояние от точек корреляционного поля до оцениваемой линии ортогональной регрессии измеряется не вдоль выделенной координатной оси, соответствующей эндогенной переменной модели, а на основе понятия наикратчайшего пути. На рис. 3.5 такое расстояние означает длину отрезка АА'. При этом, поскольку расстояние между двумя точками измеряется при помощи выбираемой исследователем функции метрики, экономическую.

Рис. 3.5. Построение ортогональной регрессии.

интерпретацию получаемого уравнения ортогональной регрессии можно проводить только в том случае, когда и зависимая, и независимая переменные соответствующей модели измеряются в одних и тех же единицах. При построении прямой или обратной модели регрессии каждый раз происходит учет стохастичности только одной из переменных (той, которая считается эндогенной), тогда как исходные данные для построения регрессий чаще всего представляют собой результаты наблюдений за парой случайных величин (х, у). Ортогональная регрессия позволяет одновременно учесть стохастический характер обеих переменных х и у.

Рассмотрим процесс построения уравнения ортогональной регрессии. Пусть искомое уравнение имеет вид.

Из курса линейной алгебры [43] известно, что расстояние от выделенной точки A (x_jt г/₍) до прямой (3.40) определяется выражением.

Тогда для построения ортогональной регрессии необходимо решить оптимизационную задачу.

Можно показать, что решением задачи (3.41) является корень уравнения

Обозначив можно переписать уравнение (3.42) в виде.

Тогда решение уравнения (3.42) можно записать как.

Оценка параметра 0₍₎ определяется аналогично парной регрессии по формуле в₀ = у ~ 9,.т. Таким образом, окончательно уравнение ортогональной регрессии будет иметь вид.

2 г

У±=У + --7==Т^(х ~.

^SU⁺^^S0 + ^/iru,

Ортогональная регрессия может быть использована для оценки конфигурации корреляционного поля. Пусть х — Л^Г(Ц_Г, ст_г) и у — N (p , а) — нормальные случайные величины. Из теории вероятностей [44] известно, что.

Следовательно, в самом простом случае, когда переменные х и у являются статистически независимыми, граница соответствующего корреляционного поля может быть описана эллипсом рассеяния С (рис. 3.6). При этом вероятность попадания точки (д3⁰⁾, у{{))) внутрь эллипса равна.

На рис. 3.6 главные оси эллипса параллельны координатным осям, что является следствием независимости признаков X и у.

Оценкой уравнения эллипса рассеяния, определяемой по выборочным данным, будет служить выражение

Рис. 3.6. Корреляционное поле и эллипс рассеяния для независимых признаков при Х_у = р_;/ = О где %²_р(1^_а, 2) — критическое значение, определяемое по таблицам ^-распределения.

Если между признаками х и у существует линейная статистическая зависимость с коэффициентом корреляции р, то корреляционное поле будет отличаться от изображенного на рис. 3.6 (см. гл. 2, рис. 2.2—2.4). В этом случае выражение (3.43) принимает вид [15, 181.

Тогда эллипс рассеяния может быть определен следующим образом:

Заметим, что выражение (3.44) определяет параметрическое семейство концентрических контурных эллипсов. Некоторые элементы этого семейства изображены на рис. 3.7.

Очевидно, что при статистической независимости признаков эллипс занимает наибольший возможный объем, а это соответствует нулевому значению коэффициента корреляции и максимальной неопределенности при прогнозировании. При увеличении коэффициента корреляции.

Рис. 3.7. Эллипсы рассеяния.

степень неопределенности снижается, и соответствующий эллипс все более вытягивается вдоль главной оси.

Из курса линейной алгебры [43, 581 известно, что по уравнению эллипсоида можно однозначно восстановить уравнения его осей. При этом главная ось эллипса будет совпадать с линией ортогональной регрессии [15].