2026-01-08 | 5 min read | 185 | Object Detection 평가 Precision Recall mAP

11-6. Evaluation Metrics for Object Detection

1. 객체 탐지 성능 평가의 중요성

객체 탐지(Object Detection)는 이미지 내에서 객체의 위치와 종류를 동시에 파악하는 중요한 컴퓨터 비전 기술입니다. 자율 주행, 영상 감시, 로봇 공학 등 다양한 분야에서 핵심적인 역할을 수행하며, 모델의 성능을 정확하게 평가하는 것은 이러한 기술의 발전과 실용화를 위해 필수적입니다. 단순히 모델을 개발하는 것뿐만 아니라, 그 성능을 객관적으로 측정하고 개선해나가는 과정이 중요합니다. 성능 평가 지표는 모델의 강점과 약점을 파악하고, 개발 방향을 설정하는 데 도움을 줍니다. 객체 탐지 모델은 예측한 객체의 위치와 종류가 정답과 얼마나 일치하는지에 따라 성능이 결정되므로, 이를 정량적으로 측정하는 방법이 필요합니다.

2. 기본 용어 및 개념 이해

객체 탐지 모델의 성능 평가를 위한 지표들을 이해하기 전에, 몇 가지 기본 용어와 개념을 알아야 합니다.

1) Ground Truth (정답)

Ground Truth는 실제 이미지 내 객체의 위치와 종류에 대한 정보를 담고 있는 데이터입니다. 이는 모델의 예측을 평가하기 위한 기준으로 사용됩니다. Ground Truth는 일반적으로 bounding box 형태로 표현되며, 각 박스는 객체의 클래스 레이블과 함께 객체의 위치(좌표) 정보를 포함합니다.

2) Predicted Bounding Box (예측된 바운딩 박스)

객체 탐지 모델이 이미지 내에서 객체를 탐지하고 예측한 bounding box입니다. 각 bounding box는 예측된 객체의 클래스 레이블과 함께 위치 정보를 포함합니다.

3) Intersection over Union (IoU)

IoU는 예측된 bounding box와 Ground Truth bounding box 사이의 중첩 정도를 측정하는 지표입니다. 두 박스의 교집합 면적을 합집합 면적으로 나눈 값으로 계산되며, 0과 1 사이의 값을 가집니다.

IoU 설명 뒤

$$ IoU = \frac{Area \ of \ Overlap}{Area \ of \ Union} $$

IoU 값이 클수록 예측된 bounding box가 Ground Truth에 가깝다는 것을 의미하며, 일반적으로 0.5 이상의 IoU 값을 임계값으로 설정하여 객체 탐지 결과를 평가합니다.

3. 주요 평가 지표

객체 탐지 모델의 성능을 평가하기 위해 사용되는 주요 지표들을 살펴보겠습니다.

1) Precision (정밀도)

Precision은 모델이 탐지한 객체 중 실제 객체인 비율을 나타냅니다. 즉, 모델이 '예측한 것' 중에서 실제로 맞은 것의 비율을 의미합니다.

$$ Precision = \frac{True \ Positives (TP)}{True \ Positives (TP) + False \ Positives (FP)} $$

True Positives (TP): 모델이 객체를 올바르게 탐지한 경우 (예측된 bounding box와 Ground Truth의 IoU가 임계값을 넘는 경우)
False Positives (FP): 모델이 객체를 잘못 탐지한 경우 (예측된 bounding box와 Ground Truth의 IoU가 임계값 이하인 경우 또는 Ground Truth가 없는 경우)

Precision은 모델이 얼마나 정확하게 객체를 탐지하는지를 나타내며, FP가 많을수록 Precision 값은 낮아집니다.

2) Recall (재현율)

Recall은 실제 객체 중에서 모델이 얼마나 잘 탐지했는지를 나타냅니다. 즉, 실제 객체 중에서 모델이 '맞춘 것'의 비율을 의미합니다.

$$ Recall = \frac{True \ Positives (TP)}{True \ Positives (TP) + False \ Negatives (FN)} $$

True Positives (TP): 모델이 객체를 올바르게 탐지한 경우 (예측된 bounding box와 Ground Truth의 IoU가 임계값을 넘는 경우)
False Negatives (FN): 모델이 객체를 탐지하지 못한 경우 (실제 객체가 존재하지만, 모델이 해당 객체를 탐지하지 못한 경우)

Recall은 모델이 놓치는 객체가 얼마나 적은지를 나타내며, FN이 많을수록 Recall 값은 낮아집니다.

3) Precision-Recall Curve (PR Curve)

PR Curve는 다양한 IoU 임계값(예: 0.5, 0.6, 0.7)에 대한 Precision과 Recall의 관계를 나타내는 그래프입니다. 모델의 성능을 시각적으로 파악하고, Precision과 Recall 간의 균형을 평가하는 데 유용합니다.

PR Curve 설명 뒤

PR Curve는 모델의 성능을 종합적으로 평가하는 데 사용되며, PR Curve 아래 면적(AUC, Area Under the Curve)이 클수록 모델의 성능이 우수함을 의미합니다.

4) Average Precision (AP)

AP는 PR Curve의 요약 지표로, 특정 클래스에 대한 PR Curve의 면적을 계산하여 얻습니다. AP 값은 0과 1 사이의 값을 가지며, 1에 가까울수록 모델의 성능이 우수함을 의미합니다. AP는 다음과 같이 계산될 수 있습니다.

$$ AP = \int_0^1 p(r) dr $$

여기서, p는 Precision, r은 Recall을 의미합니다.

AP는 각 클래스별로 계산되며, AP를 통해 특정 클래스에 대한 모델의 성능을 정량적으로 평가할 수 있습니다.

5) Mean Average Precision (mAP)

mAP는 객체 탐지 모델의 전반적인 성능을 평가하기 위한 지표로, 모든 클래스에 대한 AP의 평균값을 의미합니다. mAP는 모델의 전반적인 객체 탐지 능력을 나타내며, 0과 1 사이의 값을 가집니다. mAP가 높을수록 모델의 성능이 우수함을 의미합니다.

$$ mAP = \frac{\sum_{i=1}^{C} AP_i}{C} $$

여기서, C는 클래스의 총 개수, $AP_i$는 i번째 클래스에 대한 AP를 의미합니다. mAP는 객체 탐지 모델의 최종 성능을 평가하는 데 가장 일반적으로 사용되는 지표입니다.

4. 평가 지표 계산 방법

객체 탐지 모델의 성능 평가 지표를 계산하는 과정을 자세히 살펴보겠습니다.

1) IoU 계산

먼저, 예측된 bounding box와 Ground Truth bounding box 사이의 IoU를 계산합니다. IoU는 두 박스의 겹치는 영역의 면적을 두 박스의 합집합 면적으로 나누어 계산합니다.

2) TP, FP, FN 분류

IoU 값을 기반으로 TP, FP, FN을 분류합니다.

TP: IoU가 임계값(예: 0.5) 이상인 경우
FP: IoU가 임계값 미만인 경우 또는 Ground Truth가 없는 경우
FN: Ground Truth는 있지만, 모델이 감지하지 못한 경우

3) Precision, Recall 계산

TP, FP, FN을 사용하여 Precision과 Recall을 계산합니다.

4) PR Curve 및 AP 계산

다양한 IoU 임계값에 대해 Precision과 Recall을 계산하여 PR Curve를 생성합니다. PR Curve의 면적을 계산하여 AP를 구합니다.

5) mAP 계산

모든 클래스에 대한 AP를 계산하고, 이들의 평균값을 구하여 mAP를 계산합니다.

5. 실제 활용 사례 및 주의사항

객체 탐지 모델의 성능 평가 지표는 다양한 실제 문제에 적용될 수 있습니다.

자율 주행: 자율 주행 시스템에서 차량, 보행자, 신호등 등을 정확하게 탐지하는 것은 매우 중요합니다. mAP를 사용하여 모델의 전반적인 성능을 평가하고, Precision과 Recall을 분석하여 오탐지(FP)와 미탐지(FN) 문제를 개선할 수 있습니다.
의료 영상 분석: 의료 영상에서 종양, 병변 등을 탐지하는 모델의 성능을 평가하는 데 mAP가 활용됩니다. 의료 영상은 정확성이 매우 중요하므로, 높은 Precision과 Recall을 달성하는 것이 중요합니다.
영상 감시: 영상 감시 시스템에서 특정 객체(예: 사람, 차량)를 탐지하는 모델의 성능을 평가하고, 오경보 및 미탐지 문제를 해결하는 데 활용됩니다.

성능 평가 시 다음과 같은 주의사항을 고려해야 합니다.

데이터셋의 품질: Ground Truth 데이터의 품질은 평가 결과에 큰 영향을 미칩니다. Ground Truth가 정확하고 일관성이 있어야 신뢰할 수 있는 평가 결과를 얻을 수 있습니다.
IoU 임계값: IoU 임계값은 성능 평가 결과에 영향을 미치므로, 적절한 임계값을 설정해야 합니다. 일반적으로 0.5가 많이 사용되지만, 데이터셋의 특성이나 문제의 중요도에 따라 조정될 수 있습니다.
클래스 불균형: 클래스 간의 데이터 불균형은 AP와 mAP에 영향을 미칠 수 있습니다. 각 클래스의 데이터 양을 고려하여 평가 결과를 해석해야 합니다.
평가 지표의 한계: AP와 mAP는 모델의 성능을 종합적으로 평가하는 데 유용하지만, 모델의 모든 측면을 나타내지는 않습니다. 예를 들어, 탐지 속도(FPS, Frames Per Second)와 같은 다른 지표들도 함께 고려해야 합니다.

6. 결론

객체 탐지 모델의 성능 평가는 모델 개발과 개선에 필수적인 과정입니다. Precision, Recall, mAP와 같은 지표들을 이해하고, 적절하게 활용하면 모델의 강점과 약점을 파악하고, 더욱 정확하고 효율적인 객체 탐지 모델을 개발할 수 있습니다. 모델의 성능을 객관적으로 평가하고, 지속적으로 개선해 나가는 것이 중요합니다. 또한, 평가 지표의 의미를 정확히 이해하고, 실제 문제에 맞게 적절하게 활용해야 합니다.