대통령,민주당 그리고 PCA(주성분 분석)

오래 전에 공부한 내용이라 혹시나 오류가 있다면 지적하여 주시기 바랍니다.

키(X)와 몸무게(Y)에 대한 데이터를 갖고 있으면 최소제곱법(Least Square)으로 추세를 판단할 수 있는 직선식(Y=aX+B)을 얻울 수 있습니다. 최소제곱법(LS)은 개별변수의 편차를 최소화하면서 지나가는 직선을 구하는 방법입니다. 그러나 원인과 현상을 100% 맞출 수 없죠. (ε는 거의 0에 가깝다고 가정하기 때문) .

개별변수와 추세선 사이의 잔차(편차, residual error)를 점선으로 표현했는데 그 제곱합을(SS, Sum of Square)라고 하며 'ε'로 하겠습니다. 즉 추세식은 아래와 같이 바뀝니다.

Y= aX + B + ε (ε는 거의 '0'으로 가정)

최소제곱 직선식은 간단하고 사용하기 편해 많이 이용하죠.(자연과학/공학) 만일 저 'ε'을 반영한다면 좀 더 진실에 가까운 아름다운 추세선을 구할 수 있습니다. 그 중에 몇 가지 이론이 있는데 PCA(주성분 분석)와 PLS (부분최소제곱)이 대표적입니다.

1) 최소제곱에 의한 검정곡선(calibration curve)를 구한다.

2) PCA(주성분 분석, Principal Component Analysis)

고차원의 데이터를 저차원(추세식)투영하는 방식인데 고차원의 데이터를 저차원의 직선에 반영할 때 데이터를 최소화하며 그 분산(결과)을 최대화(구분)할 수 있어야 하기 때문입니다. 그렇지 않으면 왜곡된 결과를 낼 수 있기 때문입니다. 즉 데이터 소실 없이 원본의 결과를 상관관계를 내포하여야 하기 때문입니다. 그 차선책으로, 모든 변수들을 살릴 수는 없을지라도 최대한 특징을 반영하는 저차원의 결과로 낮춰주는 방법 중 하나가 바로 PCA 입니다.