Построение регрессионной модели с использованием метода наименьших модулей (МНМ)

Предмет: Математика (Раздел: Линейная регрессия и линейное программирование)

Ваша задача заключается в построении регрессионной модели с использованием метода наименьших модулей (МНМ). Для этого используем программу LPSolve, которая решает задачи линейного программирования.

Данные:

Матрица \( X \) — матрица регрессоров:

\[ X = \begin{pmatrix} 5 & 8 \\ 3 & 9 \\ 4 & 7 \end{pmatrix} \]

Вектор откликов \( y \):

\[ y = \begin{pmatrix} 4 \\ 6 \\ 2 \end{pmatrix} \]

Ищем параметры регрессионной модели:

\[ y = \alpha_1 x_1 + \alpha_2 x_2 \]

Метод решения

Метод наименьших модулей пытается минимизировать сумму модулей отклонений между фактическими значениями \( y \) и предсказанными значениями \( X\alpha \), где \( \alpha = (\alpha_1, \alpha_2) \).

Рассмотрим следующую регрессионную задачу:

\[ \min \sum |y_i - (\alpha_1 x_{i1} + \alpha_2 x_{i2})| \]

где \( i = 1,...,n \) является индексом строки.

Метод меньших модулей при помощи линейного программирования может быть записан следующим образом:

\[ \min \sum_{i=1}^{n} v_i \]

При этом вводятся следующие ограничения для каждой строки:

\[ y_i - \alpha_1 x_{i1} - \alpha_2 x_{i2} \leq v_i \]

\[ -(y_i - \alpha_1 x_{i1} - \alpha_2 x_{i2}) \leq v_i \]

где \( v_i \) — неотрицательные переменные, соответствующие абсолютным значениям.

Построение модели для LPSolve

1. Целевая функция: Минимизируем сумму \( v_1 + v_2 + v_3 \) — это сумма абсолютных отклонений.
2. Ограничения:
   • Для первой строки:

     \[ 4 - 5\alpha_1 - 8\alpha_2 \leq v_1 \]

     \[ -(4 - 5\alpha_1 - 8\alpha_2) \leq v_1 \]

   • Для второй строки:

     \[ 6 - 3\alpha_1 - 9\alpha_2 \leq v_2 \]

     \[ -(6 - 3\alpha_1 - 9\alpha_2) \leq v_2 \]

   • Для третьей строки:

     \[ 2 - 4\alpha_1 - 7\alpha_2 \leq v_3 \]

     \[ -(2 - 4\alpha_1 - 7\alpha_2) \leq v_3 \]

Код для LPSolve

min: v1 + v2 + v3;
4 - 5*a1 - 8*a2

Формулируем задачу на языке LP: