Простая регрессия. 
Описательная статистика

Когда на вектор параметров регрессии накладывается ограничение _j=1, имеется в виду простая регрессия, в левой части уравнения которой остается только одна переменная:

Это уравнение регрессии x_j по x_j; переменная x_j — объясняемая, изучаемая или моделируемая, переменные x_j — объясняющие, независимые факторы, регрессоры.

Из условия определяется, что и m_j = M_ja_j. Последнее называется системой нормальных уравнений, из которой находятся искомые МНК-оценки параметров регрессии:

.

Систему нормальных уравнений можно вывести, используя иную логику. Если обе части уравнения регрессии (записанного по наблюденям) умножить слева на и разделить на N, то получится условие, из которого следует искомая система при требованиях и .

Такая же логика используется в методе инструментальных переменных. Пусть имеется N (n-1)-матрица наблюдений Z за некоторыми величинами z, называемыми инструментальными переменными, относительно которых известно, что они взаимно независимы с. Умножение обеих частей уравнения регрессии слева на и деление их на N дает условие, из которого — после отбрасывания 2-го члена правой части — следует система нормальных уравнений.

метода инструментальных переменных,.

где .

МНК-оценка остаточной дисперсии удовлетворяет следующим формулам:

.

где — объясненная дисперсия.

или (т.к.).

— коэффициент детерминации (равный квадрату коэффициента множественной корреляции между x_j и x_j), показывающий долю исходной дисперсии моделируемой переменной, которая объяснена регрессионной моделью.

— расчетные значения моделируемой переменной (лежащие на гиперплоскости регрессии).

В n-пространстве переменных вектора-строки матрицы X образуют так называемое облако наблюдений. Искомая гиперплоскость регрессии в этом пространстве располагается так, чтобы сумма квадратов расcтояний от всех точек облака наблюдений до этой гиперплоскости была минимальна. Данные расcтояния измеряются параллельно оси моделируемой переменной x_j.

В N-пространстве наблюдений показываются вектора-столбцы матрицы. Коэффициент множественной корреляции между x_j и x_j равен косинусу угла между и гиперплоскостью,"натянутой" на столбцы матрицы, вектор e является нормалью из на эту гиперплоскость, а вектор a_j образован коэффициентами разложения проекции на эту гиперплоскость по векторам-столбцам матрицы .

В зависимости от того, какая переменная остается в левой части уравнения регрессии, получаются различные оценки вектора (и, соответственно, коэффициента). Пусть a (j) — оценка этого вектора из регрессии x_j по x_j. Равенство.

при выполняется в том и только в том случае, если e = 0 и, соответственно, R² = 1.

При n = 2 регрессия x₁ по x₂ называется прямой, регрессия x₂ по x₁ — обратной.

Замечание: в отечественной литературе простой обычно называют регрессию с одной переменной в правой части, а регрессию с несколькими независимыми факторами — множественной.