수학 (19) 썸네일형 리스트형 비선형 상관관계: 스피어만 상관계수, 켄달타우 상관계수 - 상관계수: 두 변수 간에 관계가 있는지 확인 상관계수의 해석 상관계수는 이상치의 유무에 따라 값의 영향이 크니 이상치 처리가 중요하다. 모수적 방법과 비모수적 방법 상관관계에 들어가기 앞서, 모수적과 비모수적이라는 용어가 나온다. 이에 간단하게 용어를 정리해보고자 한다. - 모수적 방법(Parametic method): 모수를 특정 분포로 가정하여 접근하는 방법 - 비모수적 방법(Non-parametic method): 모집단의 특정 분포를 가정하지 않고 접근하는 방법이다. 비모수적 방법은 정규성 검정에서 정규분포를 따르지 않거나 표본의 개수가 10개 미만일 때 사용한다. 상관계수도 똑같이 적용하면 된다. 즉, 정규분포 조건에 충족하지 못하면 비모수적 상관계수로 풀면 된다. 모수적 상관계수에.. 라그랑주 승수법, KKT 조건 (Karush-Kuhn-Tucker) 제한조건이 있는 최적화 문제는 연립 방정식과 연립 부등식의 풀이 방법이 다르다. 연립 방정식은 라그랑주 승수법으로, 연립 부등식은 라그랑주 승수법에 KKT 조건을 만족하도록 푸는데 풀이가 거의 비슷하다. 라그랑주 승수법 원리는 두 가지 조건을 동시에 만족시키는 공통 접선을 찾는다. 즉, 제약 조건을 만족하며 최솟값, 최댓값을 찾는 것이다. 라그랑주 승수법은 목적함수 $f(x)$와 제약조건 $g(x)$가 있을 때, 하나의 식으로 만든다. 따라서, 제약조건이 달려있는 목적함수의 경우 라그랑주 승수법을 이용해 식을 간단하게 전개할 때도 사용한다. 공식 $h(x, \lambda) = f(x) + \sum_{j=1}^M\lambda_j g_j(x)$ 예시 $f(x_1, x_2) = x_1^2 + x_2^2$를 최.. 뉴턴 방법, 준 뉴턴 방법 최대경사법(steepest Gradient Descent)는 벡터가 최저점을 가리키고 있지 않은 경우에 진동 현상이 발생한다. 이런 진동현상을 없애는 방법으로 2차 도함수(헤시안 행렬)을 이용하는 방법이나 모멘텀 방법이 있다. 일반적인 경우에는 2차 도함수를 사용하고, 2차 도함수(헤시안 행렬)를 계산하기 어려운 인공신경망 등에서는 모멘텀 방법을 많이 사용한다. 헤시안 행렬을 이용해서 최저점을 찾는 방법에 대해서 알아보자. 2차 도함수를 사용한 뉴턴 방법 뉴턴함수는 gradient와 다르게 미분 값만을 이용하여 optimizer를 시키는 것이 아니다. 미분 값과 미분 값에 대한 정보 즉, 2차 도함수를 사용해 최적화를 시킨다. 스텝 사이즈는 hyperparameter가 아니라, 뉴턴 함수가 알아서 최적의.. 테일러 급수, 헤시안 행렬 https://data-matzip.tistory.com/entry/4-%EC%8B%AC%ED%8C%8C%EC%9D%B4SymPy%EB%A1%9C-%EA%B3%B5%EB%B6%80%ED%95%98%EB%8A%94-%EB%AF%B8%EC%A0%81%EB%B6%84?category=850503 4. 심파이(SymPy)로 공부하는 미적분 책에 있던 모든 내용을 다루지는 않는다. 어렵거나 부연 설명이 필요한 부분만 다룰 것이다. 1. 테일러 급수 2. Gradient Vector, Jacobian Matrix, Hessian Matrix 테일러 급수 테일러 급수(Taylor Series) 또는.. data-matzip.tistory.com 팀 블로그의 내용을 듣고 쓴 글입니다. 테일러 급수 테일러 급수(Tayl.. 3-1. 고급 선형대수: 선형대수와 해석기학의 기초 팀블로그인 데이터맛집에서 참고했습니다. https://data-matzip.tistory.com/manage/newpost/11?type=post&returnURL=https%3A%2F%2Fdata-matzip.tistory.com%2F11%3Fcategory%3D850503 TISTORY 나를 표현하는 블로그를 만들어보세요. www.tistory.com 정규직교 만약 N개의 단위벡터 ν₁, ν₂, ... νn 이 서로 직교하면 정규직교 라고 한다. 특징 직교하는 벡터들은 선형 독립이다 * 선형 독립의 직교성 증명 linearly independent한 non zero $v_1, v_2,...,v_n$이 있을 때 $c_1 v_1 + ... + c_n v_n= 0$을 만족하기 위해선 오로직 $c_1 = ... [선형대수] 1차 연립방정식 풀이와 직교벡터 구하기 orthonormal basis vetor인 경우 $v_1, v_2,... ,v_n$이 있다. C 구하는 법 $X= \Sigma c_iv_i$가 수직이 아닌 경우, V의 역함수로 c를 구할 수 있다. 만약 수직이라면 다음과 같은 공식을 사용할 수 있다. $c_i= v_i^Tx = \frac{v_i^Tx}{v_i^Tv_i=1}$ gram-schmidt orthognalization independent vectors들로orthonormal한 basis vector를 구하는 공식 (orthonormal basis vector이면 계산하기 쉬움) https://www.slideshare.net/ahra-cho/12-gramschmidt-orthogonalization?next_slideshow=1 선형대수 1.. [선형대수] 벡터투영과 최소제곱법 Projection(투영)으로 가장 가까운 거리를 찾아낼 수 있다. 선형대수를 미지수와 방정식 수로 나타내면 크게 3가지로 나눌 수 있다. 1. 미지수의 수= 방정식의 수: unique 한 값을 가짐 2. 미지수의 수 방정식의 수: 해가 없음 1,2번의 경우 가우스 조던법을 사용해서 문제를 풀 수 있다. 이번에 배울 3번의 경우는 '최소제곱법'으로 풀 수 있다. 이는 error를 가장 최소로 하는 space를 구한다는 뜻이며, 최소 거리를 구한다는 뜻이다. 식으로 표현하면 다음과 같다. 최소 제곱법 (Least square) $min||Ax-b||^2$ 내적과 cosine https://ekdud7667.tistor.. [선형대수] 벡터의 직교성과 직선투영 직교성(orthogonality) 벡터가 수직이라는 뜻은 linearly independent basis하다는 뜻이며, linear combination의 계산이 쉽다. - $x^t y=0$ 증명) 아래와 같은 벡터가 있을 때 피타고라스의 정리로 증명할 수 있다. $x^T y=0$ 이면 $\theta= 90$ $x^T y 90$ $x^T y>0$ 이면 $\theta 이전 1 2 3 다음
