Приближение методом наименьших квадратов

До сих пор рассматривалась интерполяция, т. е. такой способ приближения, когда значения приближаемой и приближающей функций совпадают в узлах некоторой сетки. Однако достаточно часто, например, при аппроксимации большого числа экспериментальных точек, найденных с некоторой погрешностью, интерполяция становится неразумной. В этом случае целесообразно строить приближающую функцию таким образом, чтобы сгладить влияние погрешности измерения и числа точек эксперимента. Такое сглаживание реализуется при построении приближающей функции по методу наименьших квадратов. Вид приближающей функции может быть произвольным, далее рассмотрен случай, когда приближающая функция является многочленом. При этом добиваются минимизации суммы квадратов отклонений значений приближаемой и приближающей функций в узлах сетки. Эта сумма называется КВАДРАТИЧНЫМ ОТКЛОНЕНИЕМ. Пусть функция f. при j = 0, 1, …, N задана таблично в узлах.

п

х. Необходимо построить такой многочлен F_n(x) ~ для.

¹ i-0.

которого минимально квадратичное отклонение

Очевидно, что минимума Ф можно добиться только за счет изменения коэффициента многочлена FJx). Необходимые условия экстремума имеют вид.

Эту систему для удобства преобразуют к виду.

Система (2.35) называется НОРМАЛЬНОЙ СИСТЕМОЙ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ и представляет собой систему линейных алгебраических уравнений относительно коэффициентов a_t. Решив систему, построим многочлен F_n(x), приближающий функцию f{x) и минимизирующий квадратичное отклонение.

Рассмотрим одно важное свойство системы (2.35). Предположим, что точки равномерно распределены на отрезке [0, 1], т. е.

Xj = j/N, j = 0, 1, …, N. В этом случае сумму х^к- ⁺¹ можно при;

i-o

ближенно заменить интегралом.

Тогда определитель Д системы (2.35) составляет.

где Н_{п +} j — матрица Гильберта порядка п + 1, элементы которой имеют вид [l/(k + i + 1) J. Определитель этой матрицы.

и весьма быстро убывает с ростом р, что приводит к быстрому убыванию величины определителя системы Д. Так det Н₂ ~ 10″² для р = 2 и det #₃ = 10 ⁵ для р = 3. В первом случае п = 1, во втором п = 2.

Следовательно, система (2.35) с увеличением степени п приближающего многочлена становится плохо обусловленной и решение ее связано с большой потерей точности. Поэтому в методе наименьших квадратов, как правило, используют приближающий многочлен не выше третьей степени. При необходимости построения многочленов большей степени применяют приемы, позволяющие повысить обусловленность системы (2.35); обычно таких приемов два. В первом используют систему точек, позволяющую разбить систему (2.35) на две подсистемы меньшего порядка, во втором — систему ортогональных многочленов.

Как отмечалось, метод наименьших квадратов широко применяется для сглаживания экспериментальных кривых, полученных с некоторой погрешностью. Если степень аппроксимирующего многочлена равна числу точек, то среднеквадратичный многочлен совпадает с интерполяционным. Поэтому хорошее сглаживание будет при п ^ Но если п очень мало, то для описания сложной кривой коэффициентов может не хватить. Чтобы выбрать оптимальную степень многочлена, строят многочлен по методу наименьших квадратов некоторой степени п, вычисляют ГИЛЬБЕРТ, ХИЛЬБЕРТ ДАВИД (Hilbert David; 1862- 1943) — немецкий математик. Его основные труды посвящены теории инвариантов, теории алгебраических чисел, основаниям геометрии и др. Построенная им теория интегральных уравнений с симметричным ядром легла в основу современного функционального анализа. Данное Г. решение проблемы Дирихле положило начало разработке прямых методов в вариационном исчислении. Исследования, посвященные логическим основам математики, в большой мере идут по путям, намеченным Г., с использованием созданных им концепций.

квадратичное отклонение Ф и сравнивают его с известной величиной погрешности е.

Если Ф «е, т. е. математическая ошибка существенно превышает ошибку экспериментальных данных, то степень приближающего многочлена недостаточна для описания кривой. Если же Ф <5С е, то старшие коэффициенты аппроксимации физически недостоверны. Хорошее сглаживание получается в том случае, когда Ф = е. В этом случае степень приближающего многочлена оптимальна. Обычно начинают построение приближающего многочлена для случая п = 1 и увеличивают его степень до тех пор, пока отклонение Ф не станет примерно равным е. Если при этом п <5С N, то приближающий многочлен выбран верно. Если это условие не соблюдается, то следует поискать более удачный вид приближающей функции.

Можно показать методами теории вероятностей, что функция F_n(x), найденная по формулам (2.34), (2.35), с наибольшим правдоподобием совпадает с оценкой математического ожидания для заданной выборки (/₀, f_v …, /_п), т. е. метод наименьших квадратов обладает сглаживающими свойствами.