1. Camera Noise
카메라로 영상을 촬영할 때 영상의 품질을 결정하는 중요한 요소는 해상도와 노이즈 입니다.
카메라의 노이즈란 카메라의 센서에 일정한 광량이 들어올때 기대되는 출력값과 다른 값이 나오는 것을 얘기합니다.
노이즈는 SNR과 Dynamic Range에 영향을 주고 이는 촬상한 실제의 이미지 값과 다른 값을 출력하는 요소가 될 수 있으므로 노이즈를 적절하게 제거하거나 보정해주어야 합니다.
카메라의 노이즈는 크게 두가지의 노이즈의 합으로 나타납니다.
하나는 카메라 센서의 특성 등으로 인해 일정한 값을 갖는 Fixed Pattern Noise (FPN, Spartial Noise)이고,
다른 하나는 시간에 따라 랜덤하게 값이 변하는 Temporal Noise (Random Noise) 입니다.
$$Total Noise = Fixed Pattern Noise + Temporal Noise (Shot Noise + Reset Noise + Readout Noise)$$
2. Fixed Pattern Noise (FPN)의 발생 원인과 종류
FPN이 발생되는 원인은 카메라 이미지 센서의 픽셀별 특성이 완전히 균일하지 않기 때문입니다.
아무리 픽셀들을 정교하게 만들어도 면적이나 부피, 구성 물질이나 구조의 미세한 차이가 있습니다.
그외에 픽셀의 값을 디지털 값으로 변환하기 위해 거치는 Amplifier와 ADC(Analog to Digital Converter)의 특성 차이가 더해지게 되면서 픽셀별 감도 및 Offset이 조금씩 달라져 동일한 광량에 대해서 다른 출력값을 갖게 됩니다.
FPN은 다시 크게 두가지 형태로 나눌 수 있습니다.
빛이 없는 상태에서 픽셀별 암전류로 인한 Offset 값이 발생하는 DSNU (Dark Signal Non-Uniformity)와 빛이 존재할 때 픽셀별로 각각 다른 감도(Gain)를 갖으면서 발생하는 PRNU (Photon Response Non-Uniformity) 입니다.
위 그림에서 보는 것과 같이 FPN은 주로 줄무늬나 점 패턴으로 나타납니다.
점 패턴의 경우 포토다이오드의 암전류로 인해서 발생하며, 줄무늬 패턴의 경우 열 형태의 Amplifier 회로의 트랜지스터와 캐패시터의 암전류 및 reset noise와 offset voltage에 의해 발생한다고 합니다. (주로 CMOS에서 발생)
최근에는 이미지 센서 제조 공정 개선과 CDS(Correlated Double Sampling) 기술을 이용해 픽셀간 편차를 많이 줄었다고 합니다.
CDS는 Reference 값과 Signal 값을 모두 사용해 두 값의 차이로 부터 실제 신호 값을 찾아내는 기술로, Reset Noise와 DC Offset을 제거할 수 있는 기술입니다.
Gain FPN인 PRNU 보정은 할 수 없습니다.
FPN에 대한 조금 더 전문적인 내용은 http://isl.stanford.edu/~abbas/ee392b/lect07.pdf 자료를 참고하시기 바랍니다.
3. FPN 보정
- DSNU 보정
DSNU의 경우 빛이 없는 암막 상태에서 Dark Image를 여러장 촬영한 평균 값을 취한 후 실제 촬상된 프레임에서 해당 Dark Image를 빼서 사용합니다.
$$DSNU_i = \frac{1}{n_s} * \sum_{s = 1}^{n_s}P_{i,s}$$
- PRNU 보정
PRNU의 경우 Saturation 레벨의 약 50%의 균일한 광량을 여러장 촬상하여 평균값을 취한 후 각 픽셀에 대한 보정Gain 값을 구합니다. 보정 수식은 아래와 같습니다.
$$Gain = \frac{U_{raw}}{128(8bit의 경우)} \rightarrow U_{corr} = U_{raw} * Gain$$
위의 DSNU (offset) 보정과 PRNU (gain) 보정을 수행하고 광량에 따른 픽셀의 비선형 특성을 모두 보정하여 모든 픽셀이 동일한 광량에서 동일한 응답 특성을 보일 수 있도록 하는 것을 Flat Field Correction (FFC)라고 하며 주로 고가의 산업용 카메라 및 TDI 카메라에서 사용됩니다.
'개발 공부 > Image Processing & Vision' 카테고리의 다른 글
| 이미지 변환(Image Transformations) 종류와 호모그래피 (Homography) (0) | 2021.09.06 |
|---|
댓글