상세정보

본 논문에서는 두개의 스트림으로 이루어진 딥러닝 네트워크를 통해 서로 다른 환경에서 촬영 된 두 항공 영상을 정확히 매칭할 수 있는 최신의 방법을 제안한다. 먼저 내부적으로 목적 영상을 증강하고 두개의 스트림 형태로 학습을 진행함으로써, 딥러닝 네트워크의 학습 과정이 정규화가 되고, 그 결과 항공 영상 데이터의 분산에 대해 강인함을 얻게 된다. 더 나아가, 기하학적 변환의 동형 사상 성질에 영감을 받아 설계한 양방향 네트워크를 기반하여 새로운 앙상블 기법을 제안한다. 이것은 어떠한 추가적인 네트워크나 파라미터 없이 두 개의 전역 변환 파라미터를 얻을 수 있도록 한다. 양방향으로 학습을 진행 함으로써 기존에 발생했던 비대칭적인 결과를 완화하고 얻어진 두 개의 변환 파라미터를 조합하여 상당한 성능 향상의 결과를 가져온다. 실험을 위하여, Google Earth 와 International Society for Photogrammetry and Remote Sensing (ISPRS)에서 제공하는 항공 영상을 사용한다. 공정한 정량적 성능 평가를 위해, 매칭의 정도를 측정할 수 있는 Probability of Correct Keypoints (PCK) 척도를 사용한다. 제안하는 방법은 정량적, 정성적 성능 평가 결과에서 모두 항공 영상을 매칭하고 정렬하는데 있어 가장 최신의 성능을 보여준다. 더 나아가, 제안하는 방법의 범용성과 객관성을 입증하기 위하여, 일반 영상을 정렬하는 작업인 semantic alignment 분야에서 사용되는 표준benchmark dataset을 이용하여 정량적 성능 평가를 진행한다.

In this thesis, we propose a novel method to precisely match two aerial images that were obtained in different environments via a two-stream deep network. By internally augmenting the target image, the network considers the two-stream with the three input images and reflects the additional augmented pair in the training. As a result, the training process of the deep network is regularized and the network becomes robust for variance of aerial images. Furthermore, we introduce an ensemble method that is based on the bidirectional network, which is motivated by the isomorphic nature of the geometric transformation. We obtain two global transformation parameters without any additional network or parameters, which alleviate asymmetric matching result and enable significant improvement in performance by fusing two outcomes. For the experiment, we adopt aerial images from Google Earth and the International Society for Photogrammetry and Remote Sensing (ISPRS). To quantitatively assess our result, we apply the probability of correct keypoints (PCK) metric, which measures the degree of matching. The qualitative and quantitative results show the sizable gap compared to the conventional methods for matching the aerial images. To assure the objectivity and strength of our method, we evaluate our ensemble method in the semantic alignment area on a standard benchmark dataset.

Contents
1  Introduction                                                                1
2  Related Work                                                             6
3  Two-Stream Aerial Image Matching Network                               8
    3.1  Internal Augmentation for Regularization . . . . . . . . . . . . . . . . . . . . . . . . 9
    3.2  Feature Extraction with Backbone Network . . . . . . . . . . . . . . . . . . . . . 10
    3.3  Correspondence Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
    3.4  Regression of Transformation Parameters . . . . . . . . . . . . . . . . . . . . . . 11
    3.5  Ensemble based on Bidirectional Network . . . . . . . . . . . . . . . . . . . . . 12
    3.6  Loss Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4  Experiments and Analysis                                                 16
    4.1  Implementation Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
    4.2  Experimental Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
        4.2.1 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
        4.2.2 Evaluation & Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
    4.3	 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
        4.3.1 Quantitative Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 
        4.3.2 Qualitative Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.3.3 Analysis of Failure cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5  Conclusion                                                                31
    5.1  Findings and Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
    5.2  Future Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Bibliography                                                                 34