11-1. Object Detection 기초: IoU, Non-Maximum Suppression (NMS)

1. 객체 탐지(Object Detection)의 기본: 무엇을, 어디에서 찾는가?

객체 탐지는 이미지 내에서 특정 객체의 위치와 종류를 동시에 파악하는 컴퓨터 비전 기술입니다. 단순히 이미지를 분류하는 것을 넘어, 이미지 내의 어떤 객체가 어디에 위치하는지, 즉 객체의 '경계 상자(bounding box)'를 함께 예측합니다. 예를 들어, 자율 주행 자동차가 도로에서 사람, 자동차, 신호등을 인식하는 데 활용됩니다.

객체 탐지는 이미지 내에서 여러 객체를 탐지해야 하므로, 이미지 분류보다 훨씬 복잡한 문제입니다. 이러한 복잡성을 해결하기 위해 다양한 알고리즘과 기술이 개발되었으며, 그 중 핵심적인 개념이 바로 IoU (Intersection over Union) 와 NMS (Non-Maximum Suppression) 입니다. 이 두 가지는 객체 탐지 모델의 성능 평가와 예측 결과 개선에 중요한 역할을 합니다.

2. IoU (Intersection over Union): 경계 상자 예측의 정확도 측정

객체 탐지 모델은 이미지 내 객체의 위치를 예측하기 위해 경계 상자를 생성합니다. 이때, 모델이 예측한 경계 상자가 실제 객체의 위치와 얼마나 일치하는지를 평가하는 지표가 필요합니다. IoU는 이러한 평가를 위한 핵심 지표 중 하나입니다.

1) IoU의 정의

IoU는 "교집합(Intersection)"을 "합집합(Union)"으로 나눈 값으로, 두 영역 간의 중첩 정도를 0과 1 사이의 값으로 나타냅니다. 객체 탐지에서는 예측된 경계 상자와 실제 경계 상자(ground truth) 사이의 중첩 정도를 측정하는 데 사용됩니다.

$$ IoU = \frac{Area \ of \ Overlap}{Area \ of \ Union} = \frac{Area \ of \ (Prediction \cap Ground \ Truth)}{Area \ of \ (Prediction \cup Ground \ Truth)} $$

2) IoU의 시각적 이해

IoU의 개념을 직관적으로 이해하기 위해 다음 그림을 살펴보겠습니다.

위 그림에서 녹색 상자는 모델이 예측한 경계 상자이고, 빨간색 상자는 실제 객체의 위치를 나타내는 ground truth입니다. 두 상자가 겹치는 영역이 "교집합"이며, 두 상자를 합쳐서 겹치는 부분을 제외한 영역이 "합집합"입니다. IoU는 이 두 영역의 면적을 이용하여 계산됩니다.

3) IoU의 활용

IoU는 다음과 같은 다양한 용도로 활용됩니다.

• 성능 평가: 객체 탐지 모델의 성능을 평가하는 데 사용됩니다. 일반적으로 IoU가 특정 임계값(예: 0.5) 이상인 경우, 예측이 올바른 것으로 간주합니다.
• 학습: 모델 학습 과정에서, IoU를 손실 함수(loss function)에 반영하여 경계 상자 예측의 정확도를 높이는 데 기여합니다.
• NMS: NMS 알고리즘에서 중복된 경계 상자를 제거하는 기준으로 활용됩니다.

3. Non-Maximum Suppression (NMS): 중복된 예측 제거를 위한 핵심 기술

객체 탐지 모델은 동일한 객체에 대해 여러 개의 경계 상자를 예측하는 경우가 있습니다. NMS는 이러한 중복된 예측 중에서 가장 적합한 경계 상자를 선택하고, 나머지 중복된 상자를 제거하는 역할을 합니다.

1) NMS의 작동 원리

NMS는 다음과 같은 단계를 거쳐 작동합니다.

1. 예측된 모든 경계 상자에 대한 신뢰도 점수(confidence score)를 확인합니다. 신뢰도 점수는 해당 경계 상자에 객체가 포함될 확률을 나타냅니다.
2. 신뢰도 점수가 가장 높은 경계 상자를 선택하고, 이를 최종 예측으로 간주합니다.
3. 선택된 경계 상자와 IoU가 특정 임계값(예: 0.5) 이상인 다른 모든 경계 상자를 제거합니다. 이는 선택된 상자와 중복되는 예측을 제거하기 위한 과정입니다.
4. 남아있는 경계 상자들에 대해 2-3단계를 반복합니다. 모든 경계 상자가 처리될 때까지 이 과정을 반복합니다.

2) NMS의 시각적 예시

다음 그림은 NMS의 과정을 시각적으로 보여줍니다.

위 그림에서 각 경계 상자는 객체를 포함할 확률(신뢰도 점수)을 가지고 있습니다. NMS는 가장 높은 신뢰도 점수를 가진 상자를 선택하고, 다른 상자들과의 IoU를 계산하여 일정 임계값 이상인 상자들을 제거합니다. 이 과정을 반복하여 최종적으로 중복되지 않은, 유효한 경계 상자들을 얻습니다.

3) NMS의 중요성

NMS는 객체 탐지 모델의 성능을 향상시키는 데 매우 중요한 역할을 합니다. 특히, 객체들이 서로 가까이 있거나 겹쳐있는 경우, 모델이 여러 개의 중복된 경계 상자를 생성할 가능성이 높습니다. NMS는 이러한 중복된 예측을 제거하여 모델의 정확도와 정밀도를 높이는 데 기여합니다. NMS를 통해 객체 탐지 모델은 더욱 정확하고 신뢰할 수 있는 결과를 제공할 수 있습니다.

4. 객체 탐지 성능 평가 지표

IoU와 NMS 외에도, 객체 탐지 모델의 성능을 평가하기 위해 다양한 지표들이 활용됩니다.

1) 정밀도 (Precision)

정밀도는 모델이 예측한 객체 중 실제로 정답인 객체의 비율을 나타냅니다. 즉, 모델이 얼마나 정확하게 객체를 탐지했는지를 평가합니다.

$$ Precision = \frac{True \ Positives}{True \ Positives + False \ Positives} $$

• True Positives (TP): 모델이 정답으로 예측했고, 실제 정답인 경우
• False Positives (FP): 모델이 정답으로 예측했지만, 실제 정답이 아닌 경우

2) 재현율 (Recall)

재현율은 실제 정답인 객체 중 모델이 올바르게 예측한 객체의 비율을 나타냅니다. 즉, 모델이 얼마나 많은 객체를 놓치지 않고 탐지했는지를 평가합니다.

$$ Recall = \frac{True \ Positives}{True \ Positives + False \ Negatives} $$

• True Positives (TP): 모델이 정답으로 예측했고, 실제 정답인 경우
• False Negatives (FN): 모델이 정답으로 예측하지 못했지만, 실제 정답인 경우

3) 평균 정밀도 (Average Precision, AP)

AP는 정밀도-재현율 곡선(Precision-Recall curve) 아래 영역의 면적을 계산하여 모델의 성능을 요약합니다. 이는 정밀도와 재현율 간의 균형을 고려하여 모델의 전반적인 성능을 평가하는 데 유용합니다.

4) 평균 AP (Mean Average Precision, mAP)

mAP는 여러 클래스에 대한 AP의 평균입니다. 이는 객체 탐지 모델의 전체적인 성능을 평가하는 데 사용되는 주요 지표입니다. [email protected]는 IoU 임계값이 0.5일 때의 mAP를 의미하며, 일반적으로 [email protected]:0.95는 다양한 IoU 임계값(0.5부터 0.95까지, 0.05 간격)에서의 mAP를 평균한 값을 의미합니다.

5. 결론: IoU와 NMS의 역할과 미래

IoU와 NMS는 객체 탐지 분야의 기본적이면서도 핵심적인 개념입니다. IoU는 경계 상자 예측의 정확도를 측정하고, NMS는 중복된 예측을 제거하여 탐지 성능을 향상시킵니다. 이러한 기술들은 객체 탐지 모델의 학습, 평가, 그리고 최종 예측 결과 개선에 필수적인 요소입니다.

최근 객체 탐지 기술은 더욱 발전하여, 딥러닝 기반의 다양한 모델들이 개발되고 있습니다. YOLO, SSD, Faster R-CNN 등과 같은 모델들은 IoU와 NMS를 기반으로 하여 더욱 정확하고 효율적인 객체 탐지를 수행합니다.

이러한 기술들은 자율 주행, 로봇 공학, 영상 감시 등 다양한 분야에서 널리 활용되고 있으며, 앞으로도 객체 탐지 기술은 더욱 발전하여 우리 삶에 큰 영향을 미칠 것으로 예상됩니다.