15-1. Vision Transformer (ViT): Transformer 기반 이미지 인식

1. Vision Transformer (ViT)의 등장 배경: CNN의 한계와 Transformer의 가능성

이미지 인식 분야는 오랫동안 Convolutional Neural Network (CNN)이 지배해 왔습니다. CNN은 이미지의 지역적 특징을 효과적으로 추출하는 데 특화되어 있으며, 다양한 벤치마크 데이터셋에서 놀라운 성능을 보여주었습니다. 하지만, CNN은 몇 가지 근본적인 한계를 가지고 있습니다.

1. 지역적 특징 추출의 한계: CNN은 Convolution 연산을 통해 이미지의 국소적인 특징을 학습합니다. 이는 이미지 내 객체의 전체적인 맥락(global context)을 파악하는 데 어려움을 줄 수 있습니다. 예를 들어, 고양이를 인식하기 위해서는 귀, 눈, 코, 수염 등 국소적인 특징뿐만 아니라, 전체적인 형태와 자세, 주변 환경과의 관계 등 다양한 정보를 함께 고려해야 합니다.

2. 계산 복잡성: CNN은 깊은 레이어를 가질수록, 특히 고해상도 이미지에 대해 계산량이 급증합니다. 이는 대규모 데이터셋 학습 및 실시간 처리에 큰 부담을 줍니다.

3. 장거리 의존성 학습의 어려움: CNN은 컨볼루션 연산의 receptive field가 제한적이므로, 이미지 내 먼 거리에 있는 픽셀 간의 관계를 효과적으로 학습하기 어렵습니다. 이는 객체의 세부적인 특징을 놓치거나, 객체 간의 관계를 정확하게 파악하는 데 문제를 야기할 수 있습니다.

이러한 CNN의 한계를 극복하기 위해, 자연어 처리(NLP) 분야에서 획기적인 발전을 이룬 Transformer 모델을 이미지 인식 분야에 적용하려는 시도가 이루어졌습니다. Transformer는 입력 시퀀스 내의 모든 요소 간의 관계를 직접적으로 모델링할 수 있는 self-attention 메커니즘을 기반으로 합니다. 이를 통해 장거리 의존성을 효과적으로 학습하고, 이미지 내의 객체 간의 관계를 더 정확하게 파악할 수 있습니다. Vision Transformer(ViT)는 이러한 Transformer의 강력한 성능을 이미지 인식 분야에 성공적으로 적용한 대표적인 모델입니다.

2. Vision Transformer (ViT)의 구조와 작동 원리

ViT는 이미지 데이터를 처리하기 위해 Transformer 모델을 개조한 것입니다. ViT의 핵심 아이디어는 이미지를 일련의 패치(patch)로 분할하고, 각 패치를 Transformer의 입력으로 사용하는 것입니다. ViT의 전체적인 구조는 다음과 같습니다.

1. 이미지 분할 (Image Patching): 입력 이미지를 고정 크기의 패치로 분할합니다. 예를 들어, 224x224 크기의 이미지를 16x16 크기의 패치로 나누면 총 (224/16)x(224/16) = 196개의 패치가 생성됩니다. 각 패치는 일련의 픽셀 값을 포함하는 벡터로 변환됩니다.

2. 선형 임베딩 (Linear Embedding): 각 패치 벡터는 선형 레이어를 통과하여 임베딩(embedding) 벡터로 변환됩니다. 임베딩 벡터는 Transformer 모델의 입력으로 사용될 수 있도록 패치 정보를 고차원 공간에 표현합니다.

3. 위치 임베딩 (Positional Embedding): Transformer는 입력 시퀀스의 순서를 고려하지 않으므로, 패치의 위치 정보를 추가하기 위해 위치 임베딩을 사용합니다. 위치 임베딩은 각 패치 임베딩 벡터에 더해져, 패치의 위치 정보를 모델에 제공합니다.

4. Transformer 인코더 (Transformer Encoder): ViT는 여러 개의 Transformer 인코더 레이어를 쌓아 구성됩니다. 각 인코더 레이어는 다음과 같은 두 가지 주요 서브 레이어로 구성됩니다.

   • Multi-Head Self-Attention (MSA): 각 패치 간의 관계를 계산하여, 이미지 내의 객체와 특징 간의 상관관계를 파악합니다.
   • Multilayer Perceptron (MLP): MSA 레이어의 출력을 비선형적으로 변환하여, 특징 표현을 더욱 풍부하게 만듭니다.

5. Classification Head: Transformer 인코더의 출력은 Classification Head를 통해 최종적인 예측을 수행합니다. Classification Head는 MLP 레이어로 구성되며, 이미지 분류 태스크에 적합하도록 설계되었습니다.

ViT의 작동 방식은 다음과 같습니다. 입력 이미지가 패치로 분할된 후, 각 패치는 선형 임베딩과 위치 임베딩을 거쳐 Transformer 인코더에 입력됩니다. Transformer 인코더는 MSA 메커니즘을 통해 각 패치 간의 관계를 계산하고, MLP 레이어를 통해 특징 표현을 학습합니다. 마지막으로, Classification Head는 Transformer 인코더의 출력을 받아 이미지 분류를 수행합니다.

3. 핵심 구성 요소: Multi-Head Self-Attention (MSA)

ViT의 핵심은 MSA 메커니즘입니다. MSA는 입력 시퀀스의 각 요소(이 경우 이미지 패치)가 다른 모든 요소와 어떻게 관련되어 있는지 계산하여, 이미지 내의 다양한 객체와 특징 간의 상호작용을 모델링합니다. MSA는 다음과 같은 단계를 거쳐 작동합니다.

1. Query, Key, Value 생성: 각 패치 임베딩 벡터는 세 개의 선형 레이어를 통과하여 Query (Q), Key (K), Value (V) 벡터로 변환됩니다. 이 세 가지 벡터는 어텐션 계산에 사용됩니다.

   • Q: 현재 패치에 대한 정보. 다른 패치들과의 유사성을 계산하는 데 사용됩니다.
   • K: 다른 모든 패치에 대한 정보. Q와 비교하여 유사도를 계산하는 데 사용됩니다.
   • V: 각 패치의 정보. 최종 출력에 사용될 정보입니다.

2. Attention Score 계산: Q와 K를 사용하여 각 패치 간의 유사도(similarity)를 계산합니다. 이는 Q와 K의 dot product를 수행하고, 스케일링을 적용하여 계산됩니다. 스케일링은 gradient vanishing/exploding 문제를 방지하기 위해 수행됩니다.

   $$ Attention(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$

   여기서 $d_k$는 key vector의 차원입니다.

3. Attention Weight 계산: 계산된 유사도 점수에 softmax 함수를 적용하여, 각 패치에 대한 Attention Weight를 얻습니다. Attention Weight는 각 패치가 다른 패치에 얼마나 집중해야 하는지를 나타냅니다.

4. Weighted Sum 계산: 각 패치의 Value 벡터에 해당 Attention Weight를 곱하고, 모든 패치의 weighted sum을 계산합니다. 이를 통해 각 패치는 다른 패치들의 정보를 종합적으로 고려하여 새로운 표현을 생성합니다.

5. Multi-Head 병렬 처리: MSA는 여러 개의 head를 병렬적으로 사용하여 각기 다른 방식으로 Attention을 계산합니다. 각 head는 서로 다른 가중치를 사용하여 Q, K, V를 계산하고, 서로 다른 관점에서 입력 시퀀스의 관계를 파악합니다. 최종적으로, 각 head의 출력은 concat되고, 선형 레이어를 통과하여 최종 출력값을 생성합니다.

MSA 메커니즘은 이미지의 각 패치가 다른 모든 패치와 직접적으로 상호작용하도록 함으로써, CNN의 지역적 특징 추출의 한계를 극복하고, 이미지 내의 객체 간의 관계를 더욱 효과적으로 모델링할 수 있도록 합니다.

4. ViT의 장점 및 CNN 기반 모델과의 비교

ViT는 CNN 기반 모델에 비해 다음과 같은 장점을 가지고 있습니다.

1. Global Context Modeling: ViT는 MSA 메커니즘을 통해 이미지의 전체적인 맥락을 효과적으로 파악할 수 있습니다. 이는 객체의 세부적인 특징뿐만 아니라, 객체 간의 관계를 더 정확하게 파악하는 데 기여합니다.
2. 병렬 처리의 효율성: Transformer 모델은 병렬 처리에 매우 적합합니다. 이는 학습 및 추론 속도를 향상시키고, 대규모 데이터셋을 효율적으로 처리할 수 있게 합니다.
3. 유연성: ViT는 다양한 크기의 이미지를 처리할 수 있으며, 이미지의 해상도에 크게 영향을 받지 않습니다.
4. Transfer Learning의 용이성: ViT는 사전 훈련된 모델을 다른 데이터셋에 쉽게 적용할 수 있습니다. 이는 새로운 데이터셋에 대한 학습 시간을 단축하고, 모델의 성능을 향상시키는 데 기여합니다.

CNN 기반 모델과 ViT의 성능을 비교하기 위해, ImageNet 데이터셋을 사용하여 이미지 분류 태스크를 수행한 연구 결과가 있습니다. 연구 결과에 따르면, ViT는 CNN 기반 모델과 유사하거나 더 우수한 성능을 보여주었으며, 특히 대규모 데이터셋에서 학습할 경우 CNN보다 더 좋은 성능을 보였습니다. 또한, ViT는 CNN보다 더 적은 수의 파라미터를 사용하여, 계산 효율성을 높일 수 있었습니다.

표: CNN과 ViT의 주요 특징 비교

5. ViT의 활용 사례 및 개선 방향

ViT는 다양한 이미지 인식 태스크에 적용될 수 있습니다.

• 이미지 분류 (Image Classification): ImageNet과 같은 대규모 데이터셋에서 높은 정확도를 달성했습니다.
• 객체 탐지 (Object Detection): Transformer 기반의 객체 탐지 모델 (DETR)에서 ViT를 backbone network로 사용하여 좋은 성능을 보였습니다.
• 이미지 분할 (Image Segmentation): Semantic segmentation, instance segmentation 등 다양한 분할 task에 활용되고 있습니다.
• 이미지 생성 (Image Generation): Diffusion model 등 이미지 생성 모델의 backbone으로 사용되어 이미지 생성 품질을 향상시켰습니다.

ViT는 등장 이후 꾸준히 개선되어 왔으며, 다음과 같은 연구 방향이 있습니다.

1. 데이터 효율성 개선: ViT는 대규모 데이터셋에서 좋은 성능을 보이지만, 소규모 데이터셋에서는 CNN보다 성능이 낮을 수 있습니다. 이를 개선하기 위해, 데이터 증강 기법을 활용하거나, 사전 훈련된 모델을 transfer learning 하는 등의 연구가 진행되고 있습니다.
2. 계산 효율성 개선: ViT는 MSA 메커니즘의 계산 복잡성으로 인해, CNN에 비해 계산 비용이 높을 수 있습니다. 이를 개선하기 위해, attention 메커니즘을 최적화하거나, sparse attention 기법을 적용하는 등의 연구가 진행되고 있습니다.
3. 구조 개선: ViT의 구조를 개선하여 성능을 향상시키는 연구도 진행되고 있습니다. 예를 들어, hybrid model (CNN + Transformer)을 활용하거나, multi-scale feature를 사용하는 등의 방법이 연구되고 있습니다.
4. 다른 모달리티로의 확장: ViT는 이미지 인식뿐만 아니라, 비디오, 3D 데이터, 의료 영상 등 다양한 모달리티에도 적용될 수 있습니다.

6. 결론

ViT는 CNN의 한계를 극복하고, 이미지 인식 분야에 혁신을 가져온 획기적인 모델입니다. Transformer의 강력한 self-attention 메커니즘을 활용하여, 이미지 내의 객체 간의 관계를 효과적으로 모델링하고, 다양한 이미지 인식 태스크에서 우수한 성능을 보여주었습니다. 앞으로 ViT는 데이터 효율성, 계산 효율성, 구조 개선, 다양한 모달리티로의 확장 등을 통해 더욱 발전할 것으로 기대됩니다.