테일러 급수, 헤시안 행렬

https://data-matzip.tistory.com/entry/4-%EC%8B%AC%ED%8C%8C%EC%9D%B4SymPy%EB%A1%9C-%EA%B3%B5%EB%B6%80%ED%95%98%EB%8A%94-%EB%AF%B8%EC%A0%81%EB%B6%84?category=850503

4. 심파이(SymPy)로 공부하는 미적분

팀 블로그의 내용을 듣고 쓴 글입니다.

 

 

테일러 급수

테일러 급수(Taylor Series) 또는 테일러 전개(Taylor Expansion)는 어떤 함수f(x)를 다항함수로 근사하는 것을 말한다. 테일러 급수는 우리가 잘 모르거나 복잡해서 다루기 어려운 함수를 다항함수로 풀어주어 다루기 쉽게 만든다. 또한, 어떤 함수를 테일러 급수로 표현하면 함수의 특성을 분석하기 용이해진다.

 

공식

 

$f(x)=p_{\infty}(x)$  
$p_n(x)=f(a)+f'(a)(x-a)+{f''(a)\over 2!}(x-a)^2+...+{f^{(n)}(a)\over n!}(x-a)^n$  
$\qquad\quad=\Sigma_{k=0}^{n}{f^{(k)}(a)\over k!}(x-a)^k$  

 

여기 식을 보면 $p_n(x)$에 원하는 차수(n)을 넣어 근사 시키면 된다. 여기서 근사되는 모습은 점 a에 대해 근사가 되는데, 이 뜻은 x가 a에서 멀어질수록 오차가 높아진다는 뜻이다.

즉, 원하는 점 a를 정하고 차수 n을 정해 원하는 점에 원하는 차수만큼 근사 시키는 것이 테일러 급수이다.

 

1차/ 2차 근사

 

차수를 정할 수 있다고 했는데, n이 높을수록 f(x)를 잘 근사하게 된다. 하지만, 일반적으로 1차 또는 2차까지만 하는 경우가 많다.

 

$f(x)\approx p_1=f(a)+(x-a)f'(a)+Q_2(x)$  
$f(x)\approx p_2=f(a)+(x-a)f'(a)+{(x-a)^2 \over 2}f''(a)+Q_3(x)$  
 

따라서 위의 공식에서 1차 근사, 2차 근사를 하게 되면 각각의 공식이 나온다. 1차 근사항에 뒤에 $Q_2(x)$가 붙는 것은 1차 항 이외의 항들을 표현한 것이며, 일반적으로 0으로 두어 무시한다. 이 경우, f(x)를 무한 차수 다항함수로 근사하는 것보다 근사 오차가 크지만 $x$가 충분히 $a$에 가까운 경우에는 근사오차가 거의 없다.

참고로 테일러 급수는 보통 $a$에 0을 넣어서 사용하는데, 이를 매클로린 급수(Maclaurin Series)라고 한다.  

공식 유도

- 팀블로그 내용 참고-

 

 

헤시안(Hessian) 행렬

일반 다항식을 2번 미분하면 그점이 극소점인지, 극대점인지 알 수 있다.

헤시안 행렬도 이와같고, 2번 미분한 행렬을 헤시안 미분으로 나타낸다.

 

* 안장점

안장점은 보는 방향에 따라 극소점으로 보이기도 하고 극대점으로 보이기도 하는 점이다. 안장점 그래프의 한 예를 살펴보자.

헤시안 행렬은 함수의 미분 값이 어떤 모양인지 판별해준다.

즉, 헤시안 행렬의 고윳값을 확인하면 극소점인지 극대점인지 안장점인지 확인할 수 있다. 따라서 헤시안 행렬을 이용해 로컬미니멈을 찾을 수 있다.

 

공식

 

https://bskyvision.com/661

 

헤시안 행렬 결과

모두 양수	극소점
모두 음수	극대점
양수와 음수가 동시에 있음	안장점

 

그렇다면, 해시안 행렬을 어떻게 확인할 수 있는지 예시를 통해 살펴보자.

 

예시

 

$f(x, y) = x^2 - y^2$ 라는 함수가 있다고 하자. 이 함수를 위의 공식에 대입하기 위해 편미분을 해보면
$\frac{\partial f}{\partial x} = 2x$, $\frac{\partial f}{\partial y} = -2y$가 나온다.
여기서, 미분값이 0이 되게 하는값은 x,y 모두 0이다(2x, 2y가 0이 되는 점)
따라서 위의 함수는 점 (0,0)에서 임계점을 갖고, 그 임계점이 어떤 모양을 갖는지 헤시안 행렬을 통해 알아보자.


1행1열 공식인 $\frac{\partial^2 f}{\partial x_1^2}$을 구하기 위해 $2x$를 한번 더 구하면 $\frac{\partial^2 f}{\partial x^2} = 2$가 나온다.
똑같이 1행 2열 공식인 $\frac{\partial^2 f}{\partial x_1 \partial x_2 }$를 구하기 위해서 $2x$에다가 y에 대해 미분하면 0이 나온다. 

결과를 정리하면 다음과 같다.
$\frac{\partial^2 f}{\partial x^2} = 2$
$\frac{\partial^2 f}{\partial x_1 \partial x_2 }=\frac{\partial^2 f}{\partial x_2 \partial x_1 }=0$
$\frac{\partial^2 f}{\partial y^2 } = -2$

따라서, 헤시안 행렬은 아래와 같이 정의된다.
$H(f) = \begin{bmatrix}  2 & 0\\   0 & -2  \end{bmatrix}$

 

다음으로 고윳값을 구해야 하는데, 고윳값을 더 자세히 알고 싶다면 <팀블로그>를 참고하라.
$\begin{vmatrix}  2 - \lambda & 0\\   0 & -2 - \lambda  \end{vmatrix} = 0$
$(\lambda-2)(\lambda + 2) = 0$
위를 인수 분해하면 고윳값이 2, -2으로 나온다. 따라서 헤시안 행렬의 고윳값이 양수와 음수를 둘 다 가지고 있으므로 점 (0,0)은 안장점이다.

3-3. 고급 선형대수: 고유값, 고유벡터

 

 

 

 

출처

https://data-matzip.tistory.com/entry/4-%EC%8B%AC%ED%8C%8C%EC%9D%B4SymPy%EB%A1%9C-%EA%B3%B5%EB%B6%80%ED%95%98%EB%8A%94-%EB%AF%B8%EC%A0%81%EB%B6%84?category=850503
  https://bskyvision.com/661