반응형 Weight Decay1 [최적화] 가중치 규제 L1, L2 Regularization의 의미, 차이점 (Lasso, Ridge) 1. 수학적 최적화(Optimization)와 과적합 (Overfitting) 수학에서 최적화란, 특정 집합에 대한 목적 함수(Objective Function)를 최소화 혹은 최대화시키는 최적해 (파라미터)를 찾는 것을 말합니다. 머신러닝 및 딥러닝 알고리즘은 모두 어떤 현상을 가장 잘 설명하기 위한 모델 함수를 찾는 방법입니다. 모델을 찾을 때, 모델의 예측 결과와 실제 결과 간 오차가 발생하게 되고 이를 표현한 함수를 손실 함수(Loss Function, Cost Function)이라고 합니다. 학습 기반의 머신러닝 및 딥러닝 알고리즘은 모델 성능을 높이기 위해 이 손실 함수를 최소화할 수 있는 방향으로 학습을 진행하게 됩니다. 즉, 손실 함수의 최적화 문제라고 볼 수 있습니다. 우리는 모델을 만들.. 2022. 6. 5. 이전 1 다음 반응형
