Сопоставить формулы модификаций градиентного спуска с их названиями

Предмет: Машинное обучение
Раздел: Оптимизация, методы градиентного спуска

Задание: Сопоставить формулы модификаций градиентного спуска с их названиями. Ниже приведены формулы для каждого из указанных методов:

1. SGD с моментумом (SGDMomentum)

Добавляет "инерцию" к движению градиента:

 v_t = \beta v_{t-1} + (1 - \beta) \nabla J(\theta) 

 \theta = \theta - \alpha v_t 

Где:

• \beta — коэффициент моментума (обычно около 0.9)
• \alpha — скорость обучения
• \nabla J(\theta) — градиент функции потерь

2. RMSprop

Использует скользящее среднее квадратов градиентов:

 E[g^2]_t = \gamma E[g^2]_{t-1} + (1 - \gamma) g_t^2 

 \theta = \theta - \frac{\alpha}{\sqrt{E[g^2]_t + \epsilon}} g_t 

Где:

• \gamma — коэффициент затухания (обычно 0.9)
• \epsilon — маленькое число для численной стабильности

3. AdaDelta

Модификация RMSprop, которая не требует явной скорости обучения:

 E[g^2]_t = \rho E[g^2]_{t-1} + (1 - \rho) g_t^2 

 \Delta \theta_t = - \frac{\sqrt{E[\Delta \theta^2]_{t-1} + \epsilon}}{\sqrt{E[g^2]_t + \epsilon}} g_t 

 E[\Delta \theta^2]_t = \rho E[\Delta \theta^2]_{t-1} + (1 - \rho)(\Delta \theta_t)^2 

4. Adam (Adaptive Moment Estimation)

Комбинирует идеи Momentum и RMSprop:

 m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t 

 v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2 

 \hat{m}_t = \frac{m_t}{1 - \beta_1^t}, \quad \hat{v}_t = \frac{v_t}{1 - \beta_2^t} 

 \theta = \theta - \alpha \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} 

Ответ:

Если есть формулы, которые нужно распознать из изображения, пожалуйста, приложите изображение с формулами — я помогу их сопоставить.