반응형 차원축소3 [차원 축소] Kernel-PCA 1. Kernel-PCA 1.1 Kernel 기법 PCA, SVM 등에서 사용되는 커널(kernel) 기법은 비선형 함수인 커널함수를 이용하여 비선형 데이터를 고차원 공간으로 매핑하는 기술입니다. 아래 좌측의 데이터 분포를 보면 어떠한 방향으로의 선형변환으로도 데이터 분포를 잘 분류할 수 없을 것 입니다. 그러나 이를 커널함수를 이용해 고차원 공간으로 매핑하여 PCA를 수행한다면 데이터 분포를 분류할 수 있는 결정 공간을 찾을 수 있게 됩니다. m차원을 n차원으로 매핑하는 매핑함수 $\Phi$에 대해 커널 $K$는 다음과 같이 정의할 수 있습니다. $$K(x_1, x_2) = {\Phi (x_1)}^T \Phi (x_2)$$ 매핑함수 $\Phi$는 선형변환 함수이며, 표준행렬 $A$에 대해 $\Phi (.. 2020. 3. 2. [차원 축소] 주성분 분석 (PCA, Principal Component Analysis) 1. 주성분 분석 (PCA) 주성분 분석은 고차원의 데이터를 분산이 최대로 보존되는 저차원의 축 평면으로 투영시키는 대표적인 차원 축소 방법입니다. 이때 데이터를 투영시킬 수 있는 각 축의 단위 벡터들을 주성분(Principal Component) 이라고 하며, 차원의 수만큼 존재하고 서로 직교하는 성질을 갖고 있습니다. (즉, 기존의 좌표계를 주성분을 축으로 하는 좌표계로 선형 변환한다고 생각하면 됩니다.) N개의 데이터 X에 대해 주성분벡터 P로의 선형변환(투영)은 아래와 같이 표현됩니다. $$ z_1 = p_{11} x_1 + p_{12} x_2 + \cdots + p_{1N} x_N = p_1^T X $$ $$ z_2 = p_{21} x_1 + p_{22} x_2 + \cdots + p_{2N} .. 2020. 2. 9. [차원 축소] 차원 축소 개요 1. 차원 1.1 차원이란? 기하학적으로 차원은 공간 내에 있는 점의 위치를 나타내기 위해 필요한 축의 개수를 말합니다. 예를 들어 2차원 공간의 점은 두 개의 축 (x, y) 으로, 3차원 공간의 점은 세 개의 축 (x, y, z) 으로 표현이 가능하죠. 즉, 어떤 데이터(점)의 특징(위치)을 서술하는데 사용되는 독립적인 특성(차원)의 개수, 정보량이라고 생각할 수 있습니다. 따라서 차원의 크기가 커질 수록 데이터를 해석할 수 있는 정보를 더 많이 가지고 있다고 생각할 수 있습니다. 이러한 차원의 의미를 일상 생활의 데이터에 적용해볼까요? 이미지의 경우 이미지를 구성하는 각각의 픽셀들이 이미지를 나타내는 독립적인 특성들이 될 것 입니다. 따라서 이미지 전체의 픽셀 개수가 차원의 크기에 해당되며, 100.. 2020. 1. 27. 이전 1 다음 반응형
