Macierz Hessego

Hesjan, macierz Hessego – macierz (kwadratowa) drugich pochodnych cząstkowych obliczonych dla funkcji wielu zmiennych o wartościach rzeczywistych dwukrotnie różniczkowalnej w punkcie, w którym liczone są te pochodne. Macierz Hessego charakteryzuje własności krzywizny wykresu funkcji w otoczeniu tego punktu. Dlatego m. im. jest wyznaczana w punktach krytycznych przy wyszukiwaniu ekstremów i punktów przegięcia / punktów siodłowych funkcji wielu zmiennych.

Macierz Hessego jest macierzą formy kwadratowej, utworzonej z wyrazów drugiego rzędu rozwinięcia funkcji wielu zmiennych w pobliżu punktu krytycznego w szereg Taylora^[1]. Dlatego badanie określoności macierzy Hessego jest równoważne badaniu określoności odpowiadającej jej formy kwadratowej.

Czasem pod pojęciem hesjanu rozumie się wyznacznik macierzy Hessego.

Nazwę hesjanu wprowadził James Joseph Sylvester dla upamiętnienia niemieckiego matematyka Ottona Hessego (1811–1874)^[2].

Definicja

Niech $D$ będzie niepustym, otwartym podzbiorem w $n$ -wymiarowej przestrzeni współrzędnych rzeczywistych $\mathbb {R} ^{n}$ oraz $f\colon D\to \mathbb {R}$ - funkcja dwukrotnie różniczkowalna w punkcie $\mathbf {x} \in D,$ choć niekoniecznie mająca ciągłe drugie pochodne; $\mathbf {x} =[x_{1},x_{2},\dots ,x_{n}]$ - punkt w $D$ .

Macierzą Hessego funkcji $f$ w punkcie $\mathbf {x}$ nazywamy macierz

H(\mathbf {x} ):={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}(\mathbf {x} )&{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}(\mathbf {x} )&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}(\mathbf {x} )\\[1em]{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}(\mathbf {x} )&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}(\mathbf {x} )&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}(\mathbf {x} )\\[.5em]\vdots &\vdots &\ddots &\vdots \\[.5em]{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}(\mathbf {x} )&{\frac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}(\mathbf {x} )&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}(\mathbf {x} )\end{bmatrix}}

gdzie ${\frac {\partial ^{2}f}{\partial x_{i}\partial x_{j}}}(\mathbf {x} ),\quad i,j=1,2,\dots ,n$ - pochodne cząstkowe drugiego rzędu obliczone w punkcie $\mathbf {x} .$

Uwaga: Oznaczenia

Punkt w przestrzeni $n$ -wymiarowej oznaczamy wytłuszczonym symbolem $\mathbf {x}$ , zaś współrzędne tego punktu oznaczamy zwykłą czcionką $x_{i},i=1,2,\dots ,n$ .
Macierz Hessego oznacza się też symbolami $\nabla ^{2}$ , $D^{2}$ , $\nabla \nabla$ lub $\nabla \otimes \nabla$ .
W przypadku funkcji dwóch zmiennych $f(x,y)$ pochodne cząstkowe oznacza się też symbolami $f_{x},f_{y}$ - pochodne cząstkowe 1-go rzędu, $f_{xx},f_{xy},f_{yx},f_{yy}$ - pochodne cząstkowe 2-go rzędu. Analogicznie dla funkcji 3 zmiennych $f(x,y,z)$ .

Właściwości

1. Symetria macierzy Hessego

Jeśli funkcja $f$ ma ciągłe drugie pochodne w punkcie $\mathbf {x}$ , to macierz Hessego obliczona w tym punkcie jest symetryczna, tzn.

{\frac {\partial ^{2}f}{\partial x_{i}\partial x_{j}}}={\frac {\partial ^{2}f}{\partial x_{j}\partial x_{i}}}

Innymi słowy: Macierz Hessego $H(\mathbf {x} )$ jest symetryczna w punkcie $\mathbf {x}$ jeżeli funkcja jest klasy $C^{2}$ w tym punkcie.

2. Określoność macierzy Hessego a rodzaj punktu krytycznego

Punkt krytyczny to punkt ' $\mathbf {x}$ ', w którym gradient $\nabla f(\mathbf {x} )=\left[{\tfrac {\partial f(\mathbf {x} )}{\partial x_{1}}},{\tfrac {\partial f(\mathbf {x} )}{\partial x_{2}}},\dots ,{\tfrac {\partial f(\mathbf {x} )}{\partial x_{n}}}\right]$ jest równy zeru,

\nabla f(\mathbf {x} )=[0,0,\dots ,0]

co jest równoważne warunkowi zerowania się wszystkich pochodnych cząstkowych w tym punkcie

{\frac {\partial f(\mathbf {x} )}{\partial x_{i}}}=0,\quad i=1,2,\dots n

W punktach krytycznych funkcja może mieć ekstremum, punkt przegięcia, punkt siodłowy. Słuszne są następujące kryteria:

Jeśli macierz Hessego jest dodatnio określona, to w punkcie krytycznym jest minimum lokalne.
Jeśli macierz Hessego jest ujemnie określona, to w punkcie krytycznym jest maksimum lokalne.
Jeśli macierz Hessego jest nieokreślona, to punkt krytyczny jest punktem siodłowym.
Jeśli macierz Hessego jest półokreślona lub zdegenerowana, to trzeba zanalizować wyższe pochodne funkcji lub dokonać analizy geometrycznej wykresu funkcji w bliskim otoczeniu punktu krytycznego.

3. Wartości własne macierzy Hessego a rodzaj punktu krytycznego

Jeżeli macierz Hessego jest symetryczna w punkcie krytycznym, to charakter tego punktu można określić na podstawie wartości własnych $\lambda _{1},\lambda _{2},\dots ,\lambda _{n}$ macierzy Hessego:

jeśli wszystkie $\lambda _{i}>0$ , to punkt krytyczny jest minimum lokalnym,
jeśli wszystkie $\lambda _{i}<0$ , to punkt krytyczny jest maksimum lokalnym,
jeśli wartości $\lambda _{i},i=1,2,\dots n$ mają różne znaki, to punkt krytyczny jest punktem siodłowym,
jeżeli co najmniej jedna wartość własna jest zerowa, $\lambda _{i}=0$ , to test za pomocą macierzy Hessego nie pozwala stwierdzić, jakiego rodzaju jest punkt krytyczny.

4. Kryterium Sylvestera w określaniu rodzaju punktów krytycznych

Jeżeli macierz Hessego jest symetryczna w punkcie krytycznym, to do określania charakter tego punktu można użyć też kryterium Sylvestera:

(1) Minory główne wiodące macierzy Hessego wskazują na minimum lokalne, gdy wszystkie są dodatnie, zaś sekwencja znaków $-+-+\dots$ tych minorów, począwszy od minora 1-go stopnia do n-tego stopnia, wskazuje na lokalne maksimum.

(2) Minory główne 1-go stopnia (tj. elementy macierzy Hessego leżące na jej przekątnej) takie że co najmniej dwa z nich mają różne znaki, wskazują na punkt siodłowy (pozostałe minory mogą być zerami).

Ogólnie: macierz Hessego jest nieokreślona, gdy licząc minory główne stopnia $1,2,\dots ,n$ znajdziemy przynajmniej dwa minory tego samego stopnia, które mają różne znaki - wtedy mamy punkt siodłowy w punkcie krytycznym.

(3) Gdy wszystkie minory główne stopnia $1,2\dots ,n$ są $\geqslant 0$ oraz istnieje przynajmniej jeden element macierzy Hessego, który jest niezerowy, to macierz Hessego jest dodatnio półokreślona.

(4) Gdy minory główne są $\leqslant 0$ dla stopni nieparzystych i $\geqslant 0$ dla stopni parzystych, oraz istnieje przynajmniej jeden element macierzy Hessego niezerowy, to macierz Hessego jest ujemnie półokreślona.

(5) Gdy wszystkie elementy macierzy Hessego są równe zeru, to macierz Hessego jest zdegenerowana.

W przypadkach (3), (4) i (5) kryterium macierzy Hessego nie rozstrzyga co do rodzaju punktu krytycznego; trzeba badać wyższe pochodne lub stosować metodę analizy geometrycznej wykresu funkcji w bliskim otoczeniu punktu krytycznego.

Uwaga: Dla dużej wartości $n$ wymiaru macierzy Hessego bardziej praktyczne może być liczenie wartości własnych tej macierzy, gdyż w skrajnie niekorzystnym przypadku metoda Sylvestera wymagałaby liczenia wszystkich minorów głównych, których jest $2^{n}-1$ , czyli wielokrotnie więcej niż minorów głównych wiodących.

5. Kryterium drugiej pochodnej dla funkcji dwóch zmiennych

Kryterium to jest szczególnym przypadkiem kryterium Sylvestera.

(1) Jeżeli w punkcie $\mathbf {x} =(x,y)$ jest ${\text{det}}H(\mathbf {x} )>0$ , to funkcja $f(x,y)$ ma ekstremum w tym punkcie, przy czym:

- jeżeli $f_{xx}>0$ , to ma minimum lokalne

- jeżeli $f_{xx}<0$ , to ma maksimum lokalne

(2) Jeżeli jest ${\text{det}}H(\mathbf {x} )<0$ , to punkt $\mathbf {x}$ jest punktem siodłowym.

Uwaga 1: W przypadku punktu siodłowego $f_{xx}$ może mieć dowolną wartość, tj. $f_{xx}>0,=0,<0$ .

Uwaga 2: Nie da się podać tak prostych warunków dla funkcji trzech i większej liczby zmiennych.

6. Zestawienie kryteriów w określaniu punktów krytycznych

Poniżej w tabeli zebrano podsumowanie wyżej wymienionych kryteriów.

Określoność macierzy Hessego	Rodzaj punktu krytycznego	Wartości własne	Minory główne wiodące i minory główne (kryterium Sylvestera)
Dodatnio określona	Minimum lokalne	Wszystkie $\lambda _{i}>0$	Wszystkie główne minory wiodące $\Delta _{i}>0$
Ujemnie określona	Maksimum lokalne	Wszystkie $\lambda _{i}<0$	Minory wiodące główne mają znaki naprzemienne $\Delta _{1}<0,\Delta _{2}>0,\Delta _{3}<0,\dots$ zaczynając od minora $\Delta _{1}$ o 1 elemencie
Nieokreślona	Punkt siodłowy	Część $\lambda _{i}>0$ część $\lambda _{i}<0$	Przynajmniej dwa minory główne (nie tylko wiodące) tego samego stopnia mają różne znaki
Półokreślona dodatnio	Test nie rozstrzyga	Wszystkie $\lambda _{i}\geqslant 0$ , co najmniej jedno $\lambda _{i}=0$	Wszystkie minory główne (nie tylko wiodące) stopnia od 1 do n są $\geqslant 0$ oraz przynajmniej jeden minor dowolnego stopnia jest dodatni
Półokreślona ujemnie	Test nie rozstrzyga	Wszystkie $\lambda _{i}\leqslant 0$ , co najmniej jedno $\lambda _{i}=0$	Wszystkie minory główne stopnia nieparzystego są $\leqslant 0$ , a stopnia parzystego są $\geqslant 0$ oraz przynajmniej jeden minor dowolnego stopnia jest niezerowy
Zdegenerowana	Test nie rozstrzyga	Wszystkie $\lambda _{i}=0$	Macierz Hessego jest zerowa

Uwaga: Dla funkcji jednej zmiennej $f(x)$ macierz Hessego ma postać macierzy $1\times 1$ , tj. $H(x):={\begin{bmatrix}f_{xx}(x)\end{bmatrix}}$ . Jeżeli $f_{x}(x)=0$ (warunek, że punkt $x$ jest punktem krytycznym), to z powyższej tabeli wynika, że:

a). gdy $\Delta _{1}=f_{xx}(x)>0$ , to w $x$ jest minimum

b). gdy $\Delta _{1}=f_{xx}(x)<0$ , to w $x$ jest maksimum

Są to dobrze znane warunki na ekstrema funkcji jednej zmiennej w punkcie krytycznym.

Z tabeli widać też, że dla funkcji 1 zmiennej kryterium nie stosuje się do rozstrzygania nt. punktów siodłowych (bo brak dwóch wartości własnych; punkty siodłowe mogą mieć dopiero funkcje 2 i większej liczby zmiennych).

6. Niesymetryczna macierz Hessego a punkty krytyczne

Jeżeli macierz Hessego nie jest symetryczna w punkcie krytycznym, to charakteru tego punktu nie da się określić za pomocą macierzy Hessego. Trzeba stosować inne metody - np. metody geometryczne (por. przykład dalej).

Przykłady

1. Funkcja z symetryczną macierzą Hessego. Extremum funkcji

Dla funkcji dwóch zmiennych:

f(x,y)=x^{2}+xy+y^{2}

oblicz (a). macierz Hessego, (b). jej wartości własne, (c). ekstrema funkcji.

Rozwiązanie:

(a). Punkt krytyczny wyznaczamy z warunku: $\nabla f=(0,\;0)$ . Ponieważ $\nabla f=(f_{x},\;f_{y})=(2x+y,\;x+2y)$ , to otrzymujemy $x=0,\;y=0.$

(b). Obliczamy pochodne cząstkowe pierwszego rzędu: $f_{x}=2x+y,\quad f_{y}=x+2y$

oraz pochodne cząstkowe drugiego rzędu: $f_{xx}=2,\;f_{yy}=2,\;f_{xy}=f_{yx}=1.$

Stąd mamy: $H(x,y)={\begin{bmatrix}2&1\\[4pt]1&2\end{bmatrix}}$

(c). Równanie charakterystyczne: $\det(H_{f}-\lambda I)=(2-\lambda )^{2}-1=0\Rightarrow 2-\lambda =\pm 1,$ stąd mamy wartości własne $\lambda _{1}=1,\;\lambda _{2}=3.$ Obie wartości własne są dodatnie, więc macierz $H_{f}$ jest dodatnio określona - funkcja ma więc minimum w punkcie krytycznym. Wartość funkcji w minimum wynosi $f(0,0)=0$ . Punkt $(0,0)$ jest jedynym i globalnym minimum funkcji, ponieważ macierz $H(\mathbf {x} )$ jest dodatnio określona w całej dziedzinie funkcji (funkcja jest więc ściśle wypukła).

2. Funkcja z niesymetryczną macierzą Hessego. Punkt siodłowy

Pokaż, że dla funkcji

f(x,y)={\begin{cases}{\dfrac {xy(x^{2}-y^{2})}{x^{2}+y^{2}}},&(x,y)\neq (0,0)\\0,&(x,y)=(0,0)\end{cases}}

gradient w punkcie $(0,0)$ zeruje się, ale pochodne mieszane w tym punkcie są różne, tj. $f_{xy}(0,0)\neq f_{yx}(0,0).$ Określ rodzaj punktu krytycznego funkcji.

(a). Pochodne pierwszego rzędu w punkcie $(0,0)$

Dla $y=0$ mamy $f(x,0)=0$ , więc

f_{x}(0,0)=\lim _{h\to 0}{\dfrac {f(h,0)-f(0,0)}{h}}=0.

Analogicznie $f_{y}(0,0)=0$ . Wynika stąd, że gradient w punkcie $(0,0)$ zeruje się - punkt ten jest więc punktem krytycznym.

(b). Obliczenie pochodnej $f_{xy}(x,y)$ w punkcie $(0,0)$

Najpierw liczymy pochodną cząstkową względem $x$ wzdłuż osi $x=0$ dla $y\neq 0$

f_{x}(0,y)=\lim _{h\to 0}{\dfrac {f(h,y)-f(0,y)}{h}}=\lim _{h\to 0}{\dfrac {f(h,y)}{h}}

Dla $h\neq 0$ , $y\neq 0$ mamy

{\dfrac {f(h,y)}{h}}=y{\dfrac {h^{2}-y^{2}}{h^{2}+y^{2}}}

więc

f_{x}(0,y)=\lim _{h\to 0}y{\dfrac {h^{2}-y^{2}}{h^{2}+y^{2}}}=y{\dfrac {0-y^{2}}{0+y^{2}}}=-y

Stąd

f_{xy}(0,0)=\lim _{y\to 0}{\dfrac {f_{x}(0,y)-f_{x}(0,0)}{y}}=\lim _{y\to 0}{\dfrac {-y-0}{y}}=-1

(c). Obliczenie pochodnej $f_{yx}(0,0)$ w punkcie $(0,0)$

Najpierw liczymy pochodną względem $y$ wzdłuż osi $y=0$ dla $x\neq 0$

f_{y}(x,0)=\lim _{k\to 0}{\dfrac {f(x,k)-f(x,0)}{k}}=\lim _{k\to 0}{\dfrac {f(x,k)}{k}}.

Dla $k\neq 0$ , $x\neq 0$ mamy

{\dfrac {f(x,k)}{k}}=x{\dfrac {x^{2}-k^{2}}{x^{2}+k^{2}}}

więc

f_{y}(x,0)=\lim _{k\to 0}x{\dfrac {x^{2}-k^{2}}{x^{2}+k^{2}}}=x

Stąd

f_{yx}(0,0)=\lim _{x\to 0}{\dfrac {f_{y}(x,0)-f_{y}(0,0)}{x}}=\lim _{x\to 0}{\dfrac {x-0}{x}}=1

(d). Wniosek

Pochodne mieszane w punkcie $(0,0)$ są różne:

f_{xy}(0,0)=-1,\quad f_{yx}(0,0)=1,

Oznacza to, że funkcja nie należy do klasy $C^{2}$ w punkcie $(0,0)$ , a hesjan nie jest symetryczny. Punkt $(0,0)$ jest jednak punktem krytycznym. Aby określić jego charakter, nie można posłużyć się kryterium z wartościami własnym hesjanu (są de facto liczbami zespolonymi). Aby to rozstrzygnąć, wystarczy zauważyć, że przekroje wykresu funkcji poprowadzone przez punkt krytyczny zmieniają osiem razy krzywiznę z ujemnej na dodatnią przy obrocie o $360$ stopni wokół tego punktu - oznacza to, że funkcja wokół $(0,0)$ przyjmuje wartości zarówno większe jak i mniejsze niż w punkcie $(0,0)$ , więc w punkcie tym mamy siodło.

3. Macierz Hessego zdegenerowana. Ale funkcja ma extremum w punkcie krytycznym

Dla funkcji $f(x,y)=x^{4}+y^{4}$ mamy

a). Punkt krytyczny:

$\nabla f={\begin{pmatrix}4x^{3}\\4y^{3}\end{pmatrix}}=0\implies (x,y)=(0,0)$

b). Hesjan w punkcie krytycznym:

$H(x,y)={\begin{pmatrix}12x^{2}&0\\0&12y^{2}\end{pmatrix}},\quad H(0,0)={\begin{pmatrix}0&0\\0&0\end{pmatrix}}$

Wszystkie minory $=0$ , wszystkie wartości własne też są zerowe - macierz Hessego jest zdegenerowana. Kryterium drugiej pochodnej jest więc niewystarczające. Jednak problem da się łatwo rozwiązać; wystarczy zauważyć , że w punkcie $(0,0)$ funkcja zeruje się, natomiast dla wszystkich innych punktów $(x,y)$ z dziedziny funkcji wartość funkcji jest większa od zera; z definicji ekstremów wynika, że punkt $(0,0)$ jest minimum globalnym.