[Computer Vision/OpenCV] 13. Image Noise & Degradation

이 포스팅에서는 Image Degradation과 Image Noise에 대해서 알아본다.

 

1. Image Degradation Type

Image Restoration(복원)의 목표는 이미지의 degradation(손상)을 줄이는 것 이다.

좋은 이미지 복원을 위해서는 이미지의 손상에 대한 이해가 필요하다.

 

이미지 손상의 유형은 다음과 같다.

1. 노이즈
   이미지에 무작위 값이 추가되어서 이미지의 세부 정보를 왜곡시키는 현상을 노이즈라고 한다.
   이미지 센서, 전송과정 중 손상, 조명 등 다양한 원인에 의해 발생한다.
   대표적으로 가우시안 노이즈, Salt&Pepper 노이즈, 포아송 노이즈 등이 있다.

2. Out of focus Blur
   렌즈의 초점이 정확하지 않을 때 발생한다.
   렌즈가 가정한 초점 거리와 피사체의 거리가 다른경우에, 가정된 거리 이외의 픽셀이 흐리게 나타난다.
   이 현상은 단점이기도 하지만, 반대로 이를 활용해서 사진의 깊이를 추정하는데에 사용할 수 있다.
    
3. Motion Blur
   촬영 중 피사체가 움직이거나 카메라가 흔들린 경우 발생한다.
   일반적으로 특정 방향으로 늘어진 흐림 형태가 나타난다.

 

2. Degradation Model

손상된 이미지에서 원본 이미지로 복원하겠다는 것은 아래의 과정과 같다.

 

일단 Restoration한다는 것은 손상된 이미지가 주어졌을 때 원본 이미지를 추정한다는 것이다.

 

개념적으로 손상된 이미지는 원본이미지에 어떤 블러 커널이 필터링 되고, 추가로 어떤 노이즈가 붙은 것이다.

이 데이터를 푸리에 변환으로 frequency 정보로 바꾸고, 뚝딱뚝딱 하면 원본 이미지를 얻을 수 있을 것이다 (수학적인 관점에서는)

 

 

사진에도 나왔듯이, 여기에 큰 문제가 있다.

푸리에 변환까진 했는데

노이즈가 뭔지도 모르고, 블러커널이 0이 되는 때에도 어떻게 처리해야 할 지 모르겠다는 것이다.

 

3. Noise

어떤 외부적인 요인에 의한 이미지의 손상 모두를 노이즈라 부른다.

 

위의 복원과정에서 생긴 문제 때문에, 우리는 보통 노이즈를 사전에 미리 가정하여 사용하게 된다.

 

각 노이즈의 종류에 따라서 적용해야 하는 복원 알고리즘들도 달라지기 때문에

노이즈들의 특성을 잘 아는 것이 중요하다.

 

3.1. Salt and Pepper Noise

렌덤한 위치에 생성되는 점 형태의 노이즈이다.

 

intensity 255로 흰 점으로 찍히는 것을 salt픽셀이라고 부르고 반대로 검은 점을 pepper 픽셀이라고 한다.

주로 센서의 오류나 전송 중의 충격 등으로 발생한다.

https://en.wikipedia.org/wiki/Salt-and-pepper_noise

3.2. Gaussian Noise (AWGN)

AWGN : Additive White Gaussian Noise 를 말한다.

 

Additive 노이즈 라는 것은 단순하게 더해지는 형태의 노이즈를 말한다.

$$I_G(x,y)=I(x,y)+N(x,y)$$

White 노이즈 라는 것은 모든 픽셀의 노이즈가 서로 독립적이며 동일한 확률 분포를 따른다는 의미이다.

따라서 AWGN은 다음과 같은 정규분포를 따르는 노이즈를 말한다.

가우시안 분포덕에 AWGN은 실제 환경에서 생기는 노이즈를 근사하는데에 유용하다.

실제로 이 노이즈는 자연적으로 발생하지는 않지만, 실험 등을 위해서 인위적으로 생성하여 사용한다.

오른쪽: 가우시안 노이즈 추가

 

3.3. Speckle Noise

위의 가우시안 노이즈가 Additive 노이즈였다면, Speckle Noise 는 Multiplicative Noise이다.

즉, 다음과 같이 표현된다.

 

즉, 노이즈가 픽셀 강도에 비례해서 더해지기 때문에, 이미지의 밝기에 따라서 노이즈의 강도도 달라진다.

 

이 노이즈는  Active Rader나 Synthetic Aperture Rader, 의료영상이나 위성, 드론영상에서 발생하는 특수한 노이즈이다.

이 경우에는 신호 반사,간섭, 다중 산란 등의 효과가 생기기 때문에 이런 노이즈가 생기게 된다.

 

Multiplicative Noise이기 때문에 제거하기 정말 어려운 노이즈이다.

단순한 Mean Filter같은 것으로 복원이 안되고, 대부분 특수한 기법들이 활용된다.

예를 들면 로그변환, Anistropic Diffusion, Wavelet 기반 denoising, Total Variation 기반 기법등이 있다.

 

3.4. Periodic Noise

정해진 주기를 가지는 반복적인 패턴이 이미지 위에 겹쳐져 발생하는 노이즈이다.

공간 영역에서는 특정 방향의 줄무늬나 물결무늬처럼 보이고,  
주파수 영역에서는 뚜렷한 고주파 성분의 점들로 나타난다.

 

전자기장의 영향을 받거나, 센서의 문제 등으 발생한다.

 

공간 영역에서 제거하는것이 아니라, 푸리에 변환을 통해 주파수 영역으로 필터링 하여 제거한다.

보통 절차는 다음처럼 진행된다.

1. DFT(Discrete Fourier Transform) 또는 `cv2.dft()`를 사용해 주파수 영역으로 변환 
2. 노이즈 성분에 해당하는 특정 주파수 성분을 차단(제거)
3. Inverse DFT를 통해 다시 이미지로 복원

Notch Filter나 Band Stop Filter등을 사용해볼 수 있다.