Wprowadzenie
Jacobian (macierz Jacobiego) to macierz pochodnych cząstkowych funkcji wektorowej. W kontekście AI i Machine Learning jest jednym z kluczowych narzędzi matematycznych używanych do obliczania gradientów i optymalizacji modeli.
Definicja matematyczna
Dla funkcji f: ℝⁿ → ℝᵐ, macierz Jacobiego J jest zdefiniowana jako:
- Każdy element Jij = ∂fi/∂xj
- Przy m=1 redukuje się do zwykłego gradientu
- W sieciach neuronowych używana jest w algorytmie backpropagation
Zastosowanie w AI i Machine Learning
- Automatyczne różniczkowanie (autograd)
- Obliczanie gradientów wag w głębokich sieciach
- Analiza wrażliwości modelu
- Optymalizacja drugiego rzędu (w przybliżeniu)
- Transformacje w modelach generatywnych i fizycznych
- Obliczanie Jacobian w mechanizmach uwagi i transformerach
Jacobian w frameworkach (2026)
Współczesne frameworki takie jak JAX, PyTorch i TensorFlow automatycznie obliczają Jacobian i Hessian. Szczególnie JAX jest ceniony za wydajne operacje na macierzach Jacobiego dzięki funkcjom jacfwd i jacrev.
Powiązane pojęcia
Gradient • Hessian • Backpropagation • Autograd • Chain Rule • Differentiable Programming • JAX • PyTorch • Neural Tangents