Wprowadzenie
Young’s Inequality (Nierówność Younga) to fundamentalna nierówność matematyczna używana w analizie wypukłej, optymalizacji i teorii uczenia maszynowego. Jest szczególnie przydatna przy dowodach zbieżności algorytmów gradientowych oraz w analizie regularizacji.
Matematyczna postać
Dla nieujemnych liczb rzeczywistych a, b ≥ 0 oraz p, q > 1 takich, że:
1/p + 1/q = 1
zachodzi nierówność:
ab ≤ (a^p)/p + (b^q)/q
Zastosowanie w optymalizacji
- Analiza zbieżności Gradient Descent i Stochastic Gradient Descent
- Dowody regret bound w Online Convex Optimization
- Analiza algorytmów z momentum (np. Adam, RMSprop)
- Regularizacja L1 i L2 – interpretacja geometryczna
- Teoria generalizacji modeli głębokich
- Optymalizacja wypukła i nie-wypukła
Przykłady użycia w ML
- Dowodzenie, że gradient descent minimalizuje funkcję strat
- Analiza wpływu learning rate na stabilność treningu
- Interpretacja entropii i dywergencji Kullbacka-Leiblera
- Optymalizacja w Reinforcement Learning (policy gradient)
- Analiza algorytmów federated learning
Specjalne przypadki
- p = q = 2 → nierówność Cauchy’ego-Schwarza
- p → 1, q → ∞ → ab ≤ a + b (po normalizacji)
- użyta z funkcjami wypukłymi (Fenchel-Young Inequality) – bardzo ważna w teorii dualności
Powiązane pojęcia
Convex Optimization • Gradient Descent • Fenchel-Young Inequality • Hölder’s Inequality • Regularization • Generalization Theory • Online Convex Optimization • Regret Analysis