수학/데이터 사이언스 스쿨 (7) 썸네일형 리스트형 비선형 상관관계: 스피어만 상관계수, 켄달타우 상관계수 - 상관계수: 두 변수 간에 관계가 있는지 확인 상관계수의 해석 상관계수는 이상치의 유무에 따라 값의 영향이 크니 이상치 처리가 중요하다. 모수적 방법과 비모수적 방법 상관관계에 들어가기 앞서, 모수적과 비모수적이라는 용어가 나온다. 이에 간단하게 용어를 정리해보고자 한다. - 모수적 방법(Parametic method): 모수를 특정 분포로 가정하여 접근하는 방법 - 비모수적 방법(Non-parametic method): 모집단의 특정 분포를 가정하지 않고 접근하는 방법이다. 비모수적 방법은 정규성 검정에서 정규분포를 따르지 않거나 표본의 개수가 10개 미만일 때 사용한다. 상관계수도 똑같이 적용하면 된다. 즉, 정규분포 조건에 충족하지 못하면 비모수적 상관계수로 풀면 된다. 모수적 상관계수에.. 라그랑주 승수법, KKT 조건 (Karush-Kuhn-Tucker) 제한조건이 있는 최적화 문제는 연립 방정식과 연립 부등식의 풀이 방법이 다르다. 연립 방정식은 라그랑주 승수법으로, 연립 부등식은 라그랑주 승수법에 KKT 조건을 만족하도록 푸는데 풀이가 거의 비슷하다. 라그랑주 승수법 원리는 두 가지 조건을 동시에 만족시키는 공통 접선을 찾는다. 즉, 제약 조건을 만족하며 최솟값, 최댓값을 찾는 것이다. 라그랑주 승수법은 목적함수 $f(x)$와 제약조건 $g(x)$가 있을 때, 하나의 식으로 만든다. 따라서, 제약조건이 달려있는 목적함수의 경우 라그랑주 승수법을 이용해 식을 간단하게 전개할 때도 사용한다. 공식 $h(x, \lambda) = f(x) + \sum_{j=1}^M\lambda_j g_j(x)$ 예시 $f(x_1, x_2) = x_1^2 + x_2^2$를 최.. 뉴턴 방법, 준 뉴턴 방법 최대경사법(steepest Gradient Descent)는 벡터가 최저점을 가리키고 있지 않은 경우에 진동 현상이 발생한다. 이런 진동현상을 없애는 방법으로 2차 도함수(헤시안 행렬)을 이용하는 방법이나 모멘텀 방법이 있다. 일반적인 경우에는 2차 도함수를 사용하고, 2차 도함수(헤시안 행렬)를 계산하기 어려운 인공신경망 등에서는 모멘텀 방법을 많이 사용한다. 헤시안 행렬을 이용해서 최저점을 찾는 방법에 대해서 알아보자. 2차 도함수를 사용한 뉴턴 방법 뉴턴함수는 gradient와 다르게 미분 값만을 이용하여 optimizer를 시키는 것이 아니다. 미분 값과 미분 값에 대한 정보 즉, 2차 도함수를 사용해 최적화를 시킨다. 스텝 사이즈는 hyperparameter가 아니라, 뉴턴 함수가 알아서 최적의.. 테일러 급수, 헤시안 행렬 https://data-matzip.tistory.com/entry/4-%EC%8B%AC%ED%8C%8C%EC%9D%B4SymPy%EB%A1%9C-%EA%B3%B5%EB%B6%80%ED%95%98%EB%8A%94-%EB%AF%B8%EC%A0%81%EB%B6%84?category=850503 4. 심파이(SymPy)로 공부하는 미적분 책에 있던 모든 내용을 다루지는 않는다. 어렵거나 부연 설명이 필요한 부분만 다룰 것이다. 1. 테일러 급수 2. Gradient Vector, Jacobian Matrix, Hessian Matrix 테일러 급수 테일러 급수(Taylor Series) 또는.. data-matzip.tistory.com 팀 블로그의 내용을 듣고 쓴 글입니다. 테일러 급수 테일러 급수(Tayl.. 3-1. 고급 선형대수: 선형대수와 해석기학의 기초 팀블로그인 데이터맛집에서 참고했습니다. https://data-matzip.tistory.com/manage/newpost/11?type=post&returnURL=https%3A%2F%2Fdata-matzip.tistory.com%2F11%3Fcategory%3D850503 TISTORY 나를 표현하는 블로그를 만들어보세요. www.tistory.com 정규직교 만약 N개의 단위벡터 ν₁, ν₂, ... νn 이 서로 직교하면 정규직교 라고 한다. 특징 직교하는 벡터들은 선형 독립이다 * 선형 독립의 직교성 증명 linearly independent한 non zero $v_1, v_2,...,v_n$이 있을 때 $c_1 v_1 + ... + c_n v_n= 0$을 만족하기 위해선 오로직 $c_1 = ... 3-2. 고급 선형대수: 좌표와 변환 선형대수의 내용이 워낙 많아 5개로 나눠서 설명하겠다. 3.2장인 좌표와 변환 내용이다. 벡터의 선형 독립과 랭크 개념, 기저 벡터 등에 대해서 알아보도록 하자. 선형 종속과 선형 독립 선형 종속과 독립은 언제 쓰일까? 예를 들어, 3차원의 공간이 있다고 하자. 이때 선형 독립인 벡터 3가지만 있으면 모든 공간상의 벡터를 표현할 수 있다. 반대로, 2개의 종속 벡터와 1개의 독립 벡터가 있으면 모든 3차원 벡터를 설명할 수 없다. 따라서 N차원에 속한 벡터들을 표현하기 위해선 선형 독립인 벡터들이 N개 필요하다. 극단적이게, 선형 종속인 벡터를 위의 그래프처럼 평행 벡터라고 하자. 이런 경우 2개의 벡터로는 2차원을 모두 표현할 수 없다. $\begin{bmatrix}1\\ 1\\ 0\end{bmatri.. 2. Numpy로 공부하는 선형대수 2.1 데이터와 행렬 사용 목적: 대용량 데이터를 간단한 수식으로 서술할 수 있다. 즉, 여러 개의 복잡한 방정식을 간단한 행렬로 나타낼 수 있다. 데이터 유형 데이터 크기 순: 스칼라< 벡터< 행렬< 텐서 스칼라(scalar): 숫자 하나로 이뤄진 데이터 벡터(vector): 여러 숫자로 이뤄진 하나의 데이터 레코드 벡터는 여러 행을 가지고 하나의 열을 가짐 (한 데이터의 여러 요소) np.array(), 사이킷런에서는 벡터 표시 시 2차원 배열 객체를 사용해야 함 reshape(행의 수, 1)를 사용하면 쉽게 벡터화할 수 있다 특징 벡터(feature vector): 데이터 벡터가 예측 문제에서 입력 데이터로 사용되는 경우 행렬(matrix): 벡터(데이터 레코드)가 여럿인 데이터 집합(여러 개의 데.. 이전 1 다음
