[Computer Vision/OpenCV] 10. Spatial Filtering & Convolution 개념

지난시간에는 이미지의 히스토그램을 이용해 픽셀 값들을 다루는 방법들을 정리했다.

오늘부터는 이미지의 spatial data를 다루는 방식들에 대해서 정리한다.

 

이미지의 공간 데이터를 처리하기 위해 우리는 필터링 연산을 사용한다.
따라서 본격적인 방법을 살펴보기 전에, 먼저 필터링에 대해 알아보자.

 

Spatial Filtering

영상 처리에서 Spatial filtering은 이미지에 필터연산을 적용해 이미지를 수정하는 방식을 말한다.

 

필터 연산은 영상의 공간영역에서 특정 영역 단위로 필터링 커널 함수와 픽셀 값의 곱셈 및 합산 연산(Dot Product)을 수행하는 방식이다.

수식으로 표현하면 다음과 같다.

 

이 식을 그림으로 간단하게 보면 아래와 같다.

 

필터 연산을 위해 미리 정의한 커널을 다른 말로 마스크라고 부른다.

이 마스크의 전체 합은 항상 1이 되어야 한다.

수식에서는 $w(s,t)$로 표현하고 있다.

 

기존의 이미지에서 픽셀 $(i,j)$의 값을 필터링 연산하기 위해서는 먼저 마스크를 $(i,j)$의 중앙에 두고 시작한다.

이제 각 픽셀과 마스크간의 겹친 부분들 간 곱셈연산을 수행하고, 나온 값들을 모두 덧셈연산한다.

즉, Dot Production을 한다는 것과 완전히 같다

 

이 결과로 나온 새로운 값이 픽셀 $(i,j)$의 연산 완료 후 픽셀값이다.

이 연산을 필터링, 필터 연산이라고 부른다.

 

❓ 그럼 우리에게 필터링 연산이 왜 필요할끼?

바로 Spatial Aggregation 때문이다.

영상처리에서 한 지역의 특성을 계산하기 위해서 해당 지역뿐만 아니라, 근처의 다른 지역의 픽셀값들을 통합하기 위해 사용한다.

 

필터링은 마스크를 활용하여 주변 공간의 정보를 통합해서 local 특징을 추출하고, 이를 기반으로 블러, 엣지 검출, 샤프닝 등의 처리를 할 수 있게 한다.

 

Convolution

이제 신호처리 관점에서 생각해보자.

 

우리가 앞에서 본 필터링 연산은 필터링 커널(마스크)가 완전히 대칭일 경우 컨볼루션 연산과 같다.

1-D에서 Convolution은 다음과 같다.

 

시스템이 어떤 입력 x를 받았을 때,

그 시스템이 가지고 있는 반응 특성, 즉 임펄스 응답 함수 h에 따라 출력 신호 y가 다음처럼 결정된다.

(즉, x와 h가 있다면 y를 결정할 수 있다는 뜻)

 

(신호처리라는 점 빼고는 필터링과 달라보이지 않는다...)

 

다만 h(n)함수를 뒤집어서 슬라이딩하며 연산하고 있다. (필터링은 정방향으로 연산함)

따라서 필터링에서 커널이 대칭을 경우, 뒤집어도 컨볼루션 연산과 동일하기 때문에 같은 결과를 만들어 낸다.

 

두 연산은 서로 다른 개념이기는 하다.

Convolution은 두 함수를 결합해서 새로운 함수를 만들어내는 수학적인 연산이고,

Filtering은 영상에 필터커널(마스크)를 적용해서 이미지의 지역적 특성을 추출하거나, 왜곡을 제거하는데에 사용된다.

그러니 컨볼루션이 필터링과 같다는 말 보다는 필터링을 컨볼루션으로 수행한다는 말이 더 알맞을것이다.