[Computer Vision/OpenCV] 22. Feature Descriptor(3) - SIFT & FLANN+Lowe’s Ratio Test

https://he-kate1130.tistory.com/151

[Computer Vision/OpenCV] 21. Feature Descriptor(2) - SIFT

 

SIFT알고리즘을 직접 적용해보며, 키포인트를 검출하고 두 이미지 간의 매칭을 수행해보자.

 

 

키포인트 추출

먼저 두 이미지를 불러온 후, SIFT 알고리즘을 이용해 각각의 이미지에서 키포인트를 추출한다.

아래는 drawKeypoints() 함수를 이용해 시각화한 결과이다

 

 

Brute-Force 매칭

가장 단순한 방식의 매칭인 Brute-Force Matcher를 이용해 두 이미지의 특징점들을 매칭해보면 다음과 같다

너무 많은 매칭이 생겨서 이미지가 잘 안보인다.. 무엇보다 정확하지 않은 매칭결과가 너무 많아보인다. 

 

FLANN + Lowe’s Ratio Test

앞서 소개한 SIFT는 이미지 내에서 강건한 키포인트를 검출하고, 각 키포인트의 지역 특성을 벡터로 기술(descriptor)함으로써 서로 다른 이미지 간 유사한 지점을 대응(matching)시킬 수 있다. 그러나 기술자 간의 직접적인 거리 비교는 계산량이 매우 크며, 오차가 포함된 잘못된 매칭 역시 다수 포함될 수 있다는 단점이 있다. 이를 해결하기 위한 대표적인 기법이 FLANN과 Lowe의 Ratio Test이다.

FLANN (Fast Library for Approximate Nearest Neighbors)

FLANN은 고차원 공간에서의 효율적인 최근접 이웃 탐색(Nearest Neighbor Search)을 위한 라이브러리로, 정확한 매칭보다는 근사적(approximate) 최근접 이웃을 빠르게 찾는 것을 목표로 한다. 이는 이미지 내 다수의 키포인트 간 특징 벡터를 비교할 때 계산 복잡도를 줄이는 데 유리하다.

OpenCV에서는 DescriptorMatcher::create(DescriptorMatcher::FLANNBASED)를 통해 FLANN 기반 매칭기를 생성할 수 있고, 내부적으로는 KD-Tree 혹은 KMeans Tree 등의 알고리즘이 자동으로 선택되어 사용된다.

Lowe’s Ratio Test

FLANN과 같은 근사 매칭 기법을 사용할 경우, 잘못된 매칭을 필터링하는 후처리 단계가 필수적이다.

이에 대해 David Lowe는 그의 SIFT 논문에서 다음과 같은 Ratio Test를 제안하였다.

 

Ratio Test는 각 키포인트에 대해 가장 가까운 매칭 벡터(nearest neighbor)와 두 번째로 가까운 매칭 벡터(second nearest neighbor) 간의 거리 비율을 이용하여 모호한 매칭을 제거하는 방법이다. 두 벡터 간의 거리가 충분히 차이가 날 경우, 첫 번째 매칭이 신뢰할 수 있는 것으로 간주한다.

 

코드에서는 다음의 조건문을 통해 구현된다:

if (knn_matches[i][0].distance < ratio_thresh * knn_matches[i][1].distance)

 

여기서 ratio_thresh는 일반적으로 0.7~0.8 사이의 값을 가지며, 여기에서는 0.8을 사용하였다.

이 임계값보다 거리 차이가 크면, 해당 매칭은 신뢰할 수 있는(good match) 것으로 간주한다.

 

 

 

C++ OpenCV Code

#include <iostream>
#include "opencv2/core.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/features2d.hpp"
#include <opencv2/opencv.hpp>


using namespace cv;
using namespace std;


int main(int argc, const char* argv[])
{
    // 이미지 읽기 
    Mat img_1 = imread("peters_1.jpg", IMREAD_COLOR);
    if (img_1.empty()) {
        std::cerr << "Image load failed!" << std::endl;
        return -1;
    }
    Mat img_2 = imread("peters_2.jpg", IMREAD_COLOR);
    if (img_2.empty()) {
        std::cerr << "Image load failed!" << std::endl;
        return -1;
    }

    //-- Step 1: Detect the keypoints
    Ptr<SIFT> detector = SIFT::create();

    std::vector<KeyPoint> keypoints1, keypoints2;
    Mat descriptors1, descriptors2;
    detector->detectAndCompute(img_1, noArray(), keypoints1, descriptors1);
    detector->detectAndCompute(img_2, noArray(), keypoints2, descriptors2);

    //-- Step 2: Matching descriptor vectors with a brute force matcher
    Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create(DescriptorMatcher::BRUTEFORCE);
    std::vector< DMatch > matches;
    matcher->match(descriptors1, descriptors2, matches);

    //-- Step 2: Matching descriptor vectors with a FLAN
    Ptr<DescriptorMatcher> matcher2 = DescriptorMatcher::create(DescriptorMatcher::FLANNBASED);
    std::vector< std::vector<DMatch> > knn_matches;
    matcher2->knnMatch(descriptors1, descriptors2, knn_matches, 2);
    const float ratio_thresh = 0.7f;
    std::vector<DMatch> good_matches;
    for (size_t i = 0; i < knn_matches.size(); i++)
    {
        if (knn_matches[i][0].distance < ratio_thresh * knn_matches[i][1].distance)
        {
            good_matches.push_back(knn_matches[i][0]);
        }
    }

    //-- Draw keypoints
    Mat img_keypoints_1, img_keypoints_2, img_gray_1, img_gray_2;
    cvtColor(img_1, img_gray_1, COLOR_BGR2GRAY);
    cvtColor(img_2, img_gray_2, COLOR_BGR2GRAY);
    drawKeypoints(img_gray_1, keypoints1, img_keypoints_1);
    drawKeypoints(img_gray_2, keypoints2, img_keypoints_2);

    //-- Draw matches
    Mat img_matches, img_matches_2;
    drawMatches(img_1, keypoints1, img_2, keypoints2, matches, img_matches);
    drawMatches(img_1, keypoints1, img_2, keypoints2, good_matches, img_matches_2, Scalar::all(-1),
        Scalar::all(-1), std::vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);

    //-- Show detected matches
    imshow("Matches", img_matches);
    imshow("Good Matches", img_matches_2);

    // 결과 저장 폴더
    std::string output_dir = "./output/";
    imwrite(output_dir + "sift_keypoint_1.png", img_keypoints_1);
    imwrite(output_dir + "sift_keypoint_2.png", img_keypoints_2);
    imwrite(output_dir + "sift_matching.png", img_matches);
    imwrite(output_dir + "sift_matching_flan.png", img_matches_2);


    waitKey();
    return 0;
}