[Computer Vision/OpenCV] 20. Feature Descriptor(1)

오늘은 Feature Descriptor가 무엇인지, 어떤 알고리즘이 있는지 큰 틀에서 알아보도록한다.

Feature Descriptor는 이미지의 특징점을 수치화하는 도구로, object detection, panorama matching 부터 SLAM까지 다양한 분야에서 활용된다.

1. Feature Descriptor란 무엇인가?

Feature descriptor란, 이미지 또는 영상 내에서 검출된 keypoint(특징점) 주변의 시각적 정보를 일정한 규칙에 따라 수치 벡터형태의 데이터구조로 만들고, 이를 이용해 대응되는 비슷한 point를 찾아내는 것을 말한다.

이 벡터는 해당 키포인트의 지역적 특성을 정량적으로 요약하고 서로 다른 이미지 간에도 동일한 실제 지점을 효과적으로 매칭할 수 있도록한다.

 

영상 사이에 매칭되는 지점을 찾는 일은 어려운 일이다.

대응되는 feature를 매칭하려면 어떤 과정이 필요할까?

다음과 같은 순서로 진행될 것이다.

1. Distinctive keypoints의 집합을 얻는다.

2. 각 keypoint의 올바른 region을 정의해야 한다. 이 region의 정보가 비슷하면 대응되는 지점일 것이다.

3. extract and normalize region content

4. 얻은 region 정보에서 local descriptor를 계산해낸다.

5. local descriptors를 matching 한다.

 

여기서 제일 어려운 부분은 2번이다. 

위의 예시처럼 이미지가 회전하고, 스케일이 다른 이미지에서 어떻게 적절한 region을 찾아낼 것인가?

이런 부분을 해결하면서 좋은 descriptor를 얻을 수 있게 하는 것이 feature descriptor 알고리즘의 목표이다.

 

 

Feature descriptor를 사용하는 목적은 다음과 같다

• 효율적 매칭: 이미지 간의 객체, 영역, 패턴을 효과적으로 비교 및 정합할 수 있도록 함
• 불변성 확보: 회전, 스케일, 조명 변화 등 다양한 조건에서도 동일성을 유지
• 정보 압축: 고차원 이미지 데이터를 저차원 벡터로 요약하여 연산 효율성 및 저장 효율성 증대

2. Keypoint와 Descriptor의 차이

그렇다면 키포인트와 descriptor의 차이점이 모호하게 느껴진다. 둘의 차이는 무엇일까?

 

Keypoint

이미지 내에서 의미 있는 구조(코너, 에지 교차점, blob 등)를 나타내는 (x, y) coordinate 정보를 가지고 있다.

 

Descriptor

각 keypoint를 중심으로 한 지역 패치의 시각적 특성을 일정한 차원의 벡터로 표현한다.

이 벡터는 패턴, 방향성, 질감, 밝기 변화 등 다양한 정보를 내포하고 있으며, keypoint의 특징 정보를 가지고 있다.

이 Descriptor는 지역적인 특성을 가지고 있기 때문에 비슷한 형태를 표현하는 descriptor는 비슷한 벡터로 표현된다.

따라서 벡터 스페이스에서 두 descriptor의 거리가 가깝다.

3. 좋은 Descriptor란?

Robustness

디스크립터는 이미지의 회전, 스케일 변화, 조명 변동, 노이즈, 부분 가림(occlusion) 등 다양한 환경 변화에서도 일관된 특성을 유지해야 한다.

예시

SIFT는 스케일·회전 불변성을 위해 DoG(Difference of Gaussian) 기반의 스케일 공간 분석과 그래디언트 방향 정규화를 적용.
PPTFH(Point-Pair Transformation Feature Histograms)은 3D 표면 매칭에서 노이즈와 해상도 변화에 강인한 성능을 보임.

 

Distinctiveness

서로 다른 특징점은 명확히 구분되는 디스크립터 값을 가져야 하며, 동일한 지점은 변환 환경에서도 유사한 값을 유지해야 한다

예시
SURF는 Haar wavelet 기반의 방향성 히스토그램을 사용해 분별력을 높이려 함
딥러닝 기반 SuperPoint는 대규모 데이터 학습을 통해 복잡한 변환에서도 세밀한 구분 가능

 

Compactness

디스크립터 벡터의 차원 수와 저장 공간을 최소화하여 메모리 효율성과 실시간 처리가 가능해야 한다

예시
ORB는 256비트 이진 디스크립터를 사용해 SIFT(128차원 부동소수점) 대비 1/16 메모리 사용.
BRISK는 스파이럴 샘플링 패턴으로 지역 정보를 압축해 512비트로 표현

 

Efficiency
정의: 디스크립터 생성 및 매칭 과정에서의 연산 속도가 실시간 애플리케이션 요구사항을 충족해야 합니다.

예시
바이너리 디스크립터(BRIEF, BRISK)는 해밍 거리(Hamming Distance) 기반 매칭으로 XOR 연산만으로 거리 계산 가능

속성 간 상호작용 및 트레이드오프

속성	상충 관계	최적화 전략
Robustness ↔ Distinctiveness	과도한 불변성은 분별력 감소	LISRD처럼 상황별 불변성 선택 등
Compactness ↔ Distinctiveness	차원 축소는 정보 손실 유발	PCA 기반 특징 추출 또는 이진 양자화 등
Efficiency ↔ Robustness	복잡한 불변성 연산은 지연	하드웨어 가속(GPU/FPGA) 활용 등

4. 대표적인 Feature Descriptor 알고리즘

SIFT (Scale-Invariant Feature Transform)

• 특징: 이미지의 스케일과 회전 변화에 robust한 디스크립터를 추출
• 동작 원리:
  • 스케일 공간에서 극값을 검출하여 다양한 크기의 객체에 대응
  • 각 특징점에 주 방향을 할당해 회전에 robust하게 검출함
  • 특징점 주변을 4x4 블록으로 나누고 각 블록의 8방향 그라디언트 히스토그램을 계산하여 128차원 벡터 생성
• 장점: 다양한 변환에 강인
• 단점: 계산량이 많다

 

SURF (Speeded-Up Robust Features)

• 특징: SIFT보다 빠른 속도로 유사한 성능
• 동작 원리:
  • 적분 영상을 활용해 빠른 연산
  • Haar wavelet 기반의 특징 추출
• 장점: SIFT와 유사한 성능, 더 빠른 처리
• 단점: 여전히 계산량이 많다

 

BRIEF/BRISK

• 특징: 이진(binary) 디스크립터로, 매우 빠른 매칭과 낮은 메모리 사용이 특징
• 동작 원리:
  • BRIEF: keypoint 주변 픽셀 쌍의 밝기 비교로 이진 벡터 생성
  • BRISK: 스케일 공간에서 keypoint 검출 + 이진 디스크립터 생성
• 장점: 연산 효율성 및 메모리 효율성 매우 높음
• 단점: 조명, 스케일, 회전 변화에 상대적으로 약함

 

+) FAST (Features from Accelerated Segment Test)

• 특징: 매우 빠른 속도로 코너(특징점)만을 검출하는 데 특화된 알고리즘
• 동작 원리:
  • 픽셀 밝기 비교를 통한 코너 검출 (desccriptor가 아니다)
  • 디스크립터는 제공하지 않으며, 다른 알고리즘(예: BRIEF, ORB)과 함께 사용
• 장점: 속도 최우수, 실시간 응용에 적합
• 단점: 불변성, 분별력은 디스크립터 알고리즘에 의존

 

+) ORB (Oriented FAST and Rotated BRIEF)

• 특징: FAST로 keypoint를 검출하고, BRIEF로 descriptor를 생성하며, 회전 불변성과 빠른 속도를 동시에 추구한다
• 동작 원리:
  • FAST 알고리즘으로 빠르게 keypoint 추출 (desccriptor가 아니다)
  • BRIEF 이진 디스크립터를 회전에 강인하게 변형
  • 256비트 이진 벡터로 표현
• 장점: 매우 빠르고, 임베디드/실시간 환경에 적합
• 단점: SIFT/SURF 대비 분별력이 다소 낮음, 스케일 불변성은 상대적으로 약함

 

5. Descriptor가 실제로 어떻게 쓰이나?

• 이미지 매칭: 두 이미지에서 추출한 디스크립터 벡터 간의 거리(예: L2, 해밍 거리 등)를 계산해 유사한 특징점을 매칭한다
• SLAM: 로봇이 이동하면서 시각적으로 동일한 장소를 재인식할 때, 디스크립터 매칭이 필수적이다
• 객체 인식/추적: 객체의 고유한 디스크립터를 얻고, 실시간 입력 이미지에서 동일 객체를 탐지한다