Вывести систему нормальных уравнений для нахождения неизвестных коэффициентов по методу наименьших квадратов для заданных функций

Предмет: Математика
Раздел: Численные методы, Метод наименьших квадратов

Задача: Вывести систему нормальных уравнений для нахождения неизвестных коэффициентов по методу наименьших квадратов для заданных функций.

Обозначим данные точки наблюдений как  (x_i, y_i), \quad i = 1, 2, \dots, n .

Метод наименьших квадратов заключается в минимизации суммы квадратов отклонений:

 S = \sum_{i=1}^n \left( y_i - f(x_i; \mathbf{a}) \right)^2, 

где f(x_i; \mathbf{a}) — аппроксимирующая функция с неизвестными коэффициентами \mathbf{a}.

Для минимизации S по коэффициентам нужно приравнять к нулю частные производные:

 \frac{\partial S}{\partial a_j} = 0, \quad \forall j. 

а) y_x = a x + \frac{b}{x}

Коэффициенты: a, b.

Функция: f(x) = a x + \frac{b}{x}.

Запишем сумму квадратов ошибок:

 S = \sum_{i=1}^n \left( y_i - a x_i - \frac{b}{x_i} \right)^2. 

Нормальные уравнения получаем, приравнивая производные по a и b к нулю:

 \frac{\partial S}{\partial a} = -2 \sum_{i=1}^n \left( y_i - a x_i - \frac{b}{x_i} \right) x_i = 0, 

 \frac{\partial S}{\partial b} = -2 \sum_{i=1}^n \left( y_i - a x_i - \frac{b}{x_i} \right) \frac{1}{x_i} = 0. 

Раскроем скобки:

 \sum_{i=1}^n y_i x_i = a \sum_{i=1}^n x_i^2 + b \sum_{i=1}^n 1, 

 \sum_{i=1}^n \frac{y_i}{x_i} = a \sum_{i=1}^n 1 + b \sum_{i=1}^n \frac{1}{x_i^2}. 

Итоговая система нормальных уравнений:

 \begin{cases} a \sum x_i^2 + b n = \sum y_i x_i, \ a n + b \sum \frac{1}{x_i^2} = \sum \frac{y_i}{x_i}. \end{cases} 

б) y_x = a + b \sin x + c \cos x

Коэффициенты: a, b, c.

Функция: f(x) = a + b \sin x + c \cos x.

Сумма квадратов ошибок:

 S = \sum_{i=1}^n \left( y_i - a - b \sin x_i - c \cos x_i \right)^2. 

Нормальные уравнения:

 \frac{\partial S}{\partial a} = -2 \sum (y_i - a - b \sin x_i - c \cos x_i) = 0, 

 \frac{\partial S}{\partial b} = -2 \sum (y_i - a - b \sin x_i - c \cos x_i) \sin x_i = 0, 

 \frac{\partial S}{\partial c} = -2 \sum (y_i - a - b \sin x_i - c \cos x_i) \cos x_i = 0. 

Раскроем скобки:

 \begin{cases} \sum y_i = a n + b \sum \sin x_i + c \sum \cos x_i, \ \sum y_i \sin x_i = a \sum \sin x_i + b \sum \sin^2 x_i + c \sum \sin x_i \cos x_i, \ \sum y_i \cos x_i = a \sum \cos x_i + b \sum \sin x_i \cos x_i + c \sum \cos^2 x_i. \end{cases} 

в) y_x = a x^2 + b

Коэффициенты: a, b.

Функция: f(x) = a x^2 + b.

Сумма квадратов ошибок:

 S = \sum (y_i - a x_i^2 - b)^2. 

Нормальные уравнения:

 \frac{\partial S}{\partial a} = -2 \sum (y_i - a x_i^2 - b) x_i^2 = 0, 

 \frac{\partial S}{\partial b} = -2 \sum (y_i - a x_i^2 - b) = 0. 

Раскрываем:

 \begin{cases} a \sum x_i^4 + b \sum x_i^2 = \sum y_i x_i^2, \ a \sum x_i^2 + b n = \sum y_i. \end{cases} 

г) y_x = a + b \ln x

Коэффициенты: a, b.

Функция: f(x) = a + b \ln x.

Сумма квадратов ошибок:

 S = \sum (y_i - a - b \ln x_i)^2. 

Нормальные уравнения:

 \frac{\partial S}{\partial a} = -2 \sum (y_i - a - b \ln x_i) = 0, 

 \frac{\partial S}{\partial b} = -2 \sum (y_i - a - b \ln x_i) \ln x_i = 0. 

Раскрываем:

 \begin{cases} a n + b \sum \ln x_i = \sum y_i, \ a \sum \ln x_i + b \sum (\ln x_i)^2 = \sum y_i \ln x_i. \end{cases} 

Если нужно, могу помочь с решением полученных систем для конкретных данных.