7-2. Transformer: Self-Attention 기반의 혁신적인 모델

1. Transformer 모델의 등장 배경

딥러닝 분야는 꾸준한 발전을 거듭하며, 다양한 문제를 해결하는 데 혁신적인 성과를 보여왔습니다. 특히 자연어 처리(NLP) 분야에서는 순환 신경망(RNN) 기반의 모델들이 오랫동안 주류를 이루며 괄목할 만한 발전을 이루었습니다. 하지만 RNN 모델들은 몇 가지 근본적인 한계점을 가지고 있었습니다. 장기 의존성 문제를 완벽하게 해결하기 어려웠고, 순차적인 계산 방식 때문에 병렬 처리가 어려워 학습 속도가 느리다는 단점이 있었습니다.

이러한 RNN 모델의 한계를 극복하고 더 나은 성능을 달성하기 위해, 구글에서 2017년에 발표한 논문 "Attention is All You Need"는 획기적인 모델을 제시했습니다. 바로 Transformer입니다. Transformer는 RNN을 사용하지 않고, Self-Attention 메커니즘만을 사용하여 시퀀스 데이터를 처리하는 새로운 아키텍처를 선보였습니다. Transformer는 병렬 처리가 가능하여 학습 속도를 크게 향상시켰으며, 번역, 텍스트 생성 등 다양한 NLP 태스크에서 SOTA(State-of-the-Art) 성능을 달성하며 딥러닝 분야에 큰 영향을 미쳤습니다.

2. Self-Attention 메커니즘: 핵심 원리

Transformer의 핵심은 바로 Self-Attention 메커니즘입니다. Self-Attention은 입력 시퀀스 내의 각 단어(혹은 토큰)들이 서로에게 가중치를 부여하여, 문맥 정보를 효과적으로 파악할 수 있도록 돕습니다. 즉, 문장 내에서 어떤 단어가 서로 더 관련이 있는지 파악하여, 그 관계를 학습에 반영하는 것입니다. 이러한 과정을 통해 모델은 단어 간의 장거리 의존성을 효과적으로 학습할 수 있으며, 문맥 정보를 더욱 정확하게 이해할 수 있게 됩니다.

1) Attention의 기본 개념

Attention 메커니즘은 입력 시퀀스의 각 요소에 대한 가중치를 계산하고, 이를 기반으로 가중합을 수행하여 최종 출력을 생성하는 과정입니다. 이러한 가중치는 입력 시퀀스 내의 각 요소가 서로에게 미치는 영향력을 나타냅니다.

Attention 메커니즘은 일반적으로 다음과 같은 세 단계로 구성됩니다.

1. Query, Key, Value 생성: 입력 시퀀스의 각 요소에 대해 Query, Key, Value 벡터를 생성합니다. 이러한 벡터들은 입력 요소의 특징을 표현하며, Attention 가중치를 계산하는 데 사용됩니다. 일반적으로, Query, Key, Value는 입력 임베딩에 학습 가능한 가중치 행렬을 곱하여 생성합니다.
2. Attention Score 계산: Query와 Key 간의 유사도를 계산하여 Attention Score를 구합니다. 이 Score는 각 입력 요소가 다른 요소에 얼마나 관련되어 있는지를 나타냅니다. 주로 내적(dot product)을 사용하거나, 내적을 정규화한 값을 사용합니다.
3. 가중합(Weighted Sum) 수행: Attention Score에 Softmax 함수를 적용하여 Attention Weights를 계산하고, 이를 Value 벡터에 곱하여 가중합을 수행합니다. 이 가중합은 입력 시퀀스의 각 요소의 중요도를 반영하여 최종 출력을 생성합니다.

2) Self-Attention의 작동 방식

Self-Attention은 위에서 설명한 Attention 메커니즘을 입력 시퀀스 자체에 적용한 것입니다. 즉, 입력 시퀀스의 각 요소가 Query, Key, Value 역할을 모두 수행합니다.

Self-Attention의 작동 방식은 다음과 같습니다.

1. 입력 임베딩(Input Embedding): 입력 시퀀스의 각 단어는 임베딩 레이어를 통해 벡터로 변환됩니다.
2. Query, Key, Value 생성: 각 단어 벡터는 학습 가능한 가중치 행렬을 곱하여 Query, Key, Value 벡터로 변환됩니다. 이러한 행렬은 모델이 학습을 통해 얻는 파라미터입니다.
3. Attention Score 계산: 각 단어의 Query 벡터와 모든 단어의 Key 벡터 간의 내적을 계산하여 Attention Score를 구합니다.
4. Attention Weights 계산: Attention Score를 스케일링하고, Softmax 함수를 적용하여 Attention Weights를 계산합니다. 스케일링은 gradient vanishing/exploding을 방지하기 위해 사용됩니다.
5. 가중합 수행: 각 단어의 Value 벡터에 Attention Weights를 곱하고, 이를 모두 더하여 가중합을 수행합니다. 이 결과가 Self-Attention 레이어의 출력입니다.

위 과정을 통해 Self-Attention은 입력 시퀀스 내의 각 단어 간의 관계를 파악하고, 각 단어가 다른 단어에 얼마나 영향을 받는지 학습합니다. 이러한 과정을 통해 모델은 문맥 정보를 더욱 정확하게 이해하고, 복잡한 패턴을 학습할 수 있게 됩니다.

3) Scaled Dot-Product Attention

Transformer에서 사용되는 Self-Attention은 일반적으로 Scaled Dot-Product Attention입니다. Scaled Dot-Product Attention은 Query와 Key 벡터 간의 내적을 계산하기 전에, Key 벡터의 차원의 제곱근으로 나누어줍니다.

$$ Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V $$

여기서,

• $Q$: Query 행렬
• $K$: Key 행렬
• $V$: Value 행렬
• $d_k$: Key 벡터의 차원

Scaling(스케일링)을 수행하는 이유는 내적의 크기를 조절하여 gradient vanishing/exploding 문제를 방지하기 위해서입니다. 내적의 크기가 커지면 Softmax 함수의 gradient가 작아져 학습이 제대로 이루어지지 않을 수 있습니다. 따라서, Key 벡터의 차원의 제곱근으로 나누어 내적의 크기를 적절하게 조절합니다.

4) Multi-Head Attention

Transformer는 Self-Attention을 여러 개 사용하는 Multi-Head Attention 메커니즘을 사용합니다. Multi-Head Attention은 입력 시퀀스에 대해 여러 개의 Self-Attention 레이어를 병렬로 실행하고, 각 레이어의 출력을 연결(concatenate)하여 최종 출력을 생성합니다.

Multi-Head Attention은 다음과 같은 장점을 제공합니다.

• 다양한 관점에서 정보를 처리할 수 있습니다. 각 Attention Head는 서로 다른 방식으로 입력 시퀀스 내의 관계를 학습합니다.
• 모델의 표현 능력을 향상시킵니다. 여러 개의 Attention Head를 사용함으로써, 모델은 더 복잡한 패턴과 관계를 학습할 수 있습니다.
• 모델의 안정성을 높입니다. 각 Head가 다른 특징을 학습하기 때문에, overfitting을 방지하는 데 도움이 됩니다.

3. Transformer 아키텍처: 인코더-디코더 구조

Transformer 모델은 일반적으로 인코더-디코더(Encoder-Decoder) 구조를 사용합니다. 인코더는 입력 시퀀스를 처리하여 문맥 정보를 담은 벡터(context vector)를 생성하고, 디코더는 이 벡터를 기반으로 출력 시퀀스를 생성합니다.

1) 인코더(Encoder)

인코더는 입력 시퀀스를 처리하여 문맥 정보를 담은 벡터를 생성합니다. 인코더는 여러 개의 동일한 레이어를 쌓아 구성되며, 각 레이어는 Self-Attention 메커니즘과 feed-forward 신경망으로 구성됩니다.

인코더 레이어는 다음과 같은 과정을 거칩니다.

1. Self-Attention: 입력 시퀀스에 Self-Attention 메커니즘을 적용하여, 각 단어 간의 관계를 파악합니다.
2. Add & Norm: Self-Attention 레이어의 출력과 입력(residual connection)을 더하고, Layer Normalization을 수행합니다. Residual connection은 gradient vanishing 문제를 완화하고, 학습을 안정화하는 데 도움을 줍니다. Layer Normalization은 각 레이어의 출력을 정규화하여 학습 속도를 향상시킵니다.
3. Feed Forward: Feed-Forward 신경망을 적용하여, 각 단어의 표현을 변환합니다. Feed-Forward 신경망은 2개의 Linear 레이어와 ReLU 활성화 함수로 구성됩니다.
4. Add & Norm: Feed-Forward 레이어의 출력과 입력(residual connection)을 더하고, Layer Normalization을 수행합니다.

2) 디코더(Decoder)

디코더는 인코더의 출력(문맥 벡터)과 이전 시점의 출력 시퀀스를 입력으로 받아, 다음 출력 시퀀스를 생성합니다. 디코더 역시 여러 개의 동일한 레이어를 쌓아 구성되며, 각 레이어는 Self-Attention 메커니즘, 인코더-디코더 Attention 메커니즘, feed-forward 신경망으로 구성됩니다.

디코더 레이어는 다음과 같은 과정을 거칩니다.

1. Masked Self-Attention: 디코더는 이전 시점의 출력 시퀀스를 입력으로 받기 때문에, 미래 시점의 정보를 참조하지 않도록 Masked Self-Attention을 사용합니다. Masked Self-Attention은 현재 시점 이후의 단어에 대한 Attention Score를 0으로 설정하여, 미래 정보를 참조하는 것을 방지합니다.
2. Add & Norm: Masked Self-Attention 레이어의 출력과 입력(residual connection)을 더하고, Layer Normalization을 수행합니다.
3. Encoder-Decoder Attention: 인코더의 출력(문맥 벡터)과 디코더의 출력을 입력으로 받아, Encoder-Decoder Attention을 수행합니다. 이 메커니즘을 통해 디코더는 인코더의 문맥 정보를 활용하여 출력 시퀀스를 생성합니다.
4. Add & Norm: Encoder-Decoder Attention 레이어의 출력과 입력(residual connection)을 더하고, Layer Normalization을 수행합니다.
5. Feed Forward: Feed-Forward 신경망을 적용하여, 각 단어의 표현을 변환합니다.
6. Add & Norm: Feed-Forward 레이어의 출력과 입력(residual connection)을 더하고, Layer Normalization을 수행합니다.

3) Positional Encoding

Transformer는 RNN과 달리, 입력 시퀀스의 순서를 명시적으로 나타내는 방법을 사용하지 않습니다. 따라서, Transformer는 입력 시퀀스 내의 단어들의 위치 정보를 모델에 제공하기 위해 Positional Encoding을 사용합니다.

Positional Encoding은 각 단어의 임베딩에 위치 정보를 더하여, 모델이 단어의 순서를 이해할 수 있도록 돕습니다. Positional Encoding은 일반적으로 사인(sine) 및 코사인(cosine) 함수를 사용하여 계산되며, 다음과 같은 수식으로 표현됩니다.

$$ PE_{(pos, 2i)} = sin(pos / 10000^{2i/d_{model}}) $$

$$ PE_{(pos, 2i+1)} = cos(pos / 10000^{2i/d_{model}}) $$

여기서,

• $pos$: 단어의 위치
• $i$: 임베딩 차원
• $d_{model}$: 임베딩 차원의 크기

Positional Encoding은 단어의 위치에 따라 고유한 값을 가지며, 모델이 단어의 순서를 파악하는 데 중요한 역할을 합니다.

4. Transformer의 활용 사례

Transformer는 다양한 NLP 태스크에서 뛰어난 성능을 보여주며, 현재 딥러닝 분야에서 가장 중요한 모델 중 하나로 자리 잡았습니다.

1) 기계 번역(Machine Translation)

Transformer는 기계 번역 분야에서 획기적인 발전을 이루었습니다. 이전에는 RNN 기반의 Seq2Seq 모델이 주로 사용되었지만, Transformer는 병렬 처리가 가능하고 장기 의존성 문제를 효과적으로 해결하여, 번역 품질을 크게 향상시켰습니다.

2) 텍스트 생성(Text Generation)

Transformer는 텍스트 생성 분야에서도 뛰어난 성능을 보입니다. GPT(Generative Pre-trained Transformer)와 같은 모델은 대량의 텍스트 데이터를 학습하여, 사람과 유사한 텍스트를 생성할 수 있습니다. 챗봇, 글쓰기 도구 등 다양한 분야에서 활용되고 있습니다.

3) 텍스트 분류(Text Classification)

Transformer는 텍스트 분류 작업에서도 우수한 성능을 보여줍니다. BERT(Bidirectional Encoder Representations from Transformers)와 같은 모델은 텍스트의 양방향 문맥 정보를 학습하여, 텍스트 분류의 정확도를 향상시켰습니다. 감성 분석, 스팸 메일 분류 등 다양한 분야에서 활용됩니다.

4) 그 외 응용 분야

Transformer는 NLP 분야뿐만 아니라, 컴퓨터 비전, 음성 인식 등 다양한 분야에서도 활용되고 있습니다. ViT(Vision Transformer)는 이미지 분류 분야에서 CNN을 대체하는 모델로 사용되며, 음성 인식 분야에서도 Transformer 기반 모델이 좋은 성능을 보이고 있습니다.

5. Transformer 모델의 장점

Transformer 모델은 다음과 같은 장점을 가지고 있습니다.

• 병렬 처리 가능: RNN과 달리 순차적인 계산 방식이 아니므로, 병렬 처리가 가능하여 학습 속도를 크게 향상시킵니다.
• 장기 의존성 문제 해결: Self-Attention 메커니즘을 통해 단어 간의 장거리 의존성을 효과적으로 학습할 수 있습니다.
• 다양한 태스크에 적용 가능: 기계 번역, 텍스트 생성, 텍스트 분류 등 다양한 NLP 태스크에서 SOTA(State-of-the-Art) 성능을 달성합니다.
• 모델 구조의 유연성: Self-Attention 메커니즘을 기반으로 다양한 아키텍처를 설계할 수 있습니다.

6. Transformer 모델의 한계 및 개선 방향

Transformer 모델은 많은 장점을 가지고 있지만, 몇 가지 한계점 또한 존재합니다.

• 계산 복잡도: Self-Attention 메커니즘은 입력 시퀀스의 길이의 제곱에 비례하는 계산 복잡도를 가지므로, 긴 시퀀스 데이터를 처리하는 데 어려움이 있습니다.
• 메모리 사용량: Self-Attention 메커니즘은 모든 단어 간의 관계를 계산하기 위해 많은 메모리를 사용합니다.
• 데이터 의존성: Transformer 모델은 대량의 데이터를 필요로 합니다.

이러한 한계점을 극복하기 위해, 다양한 연구가 진행되고 있습니다.

• 계산 효율성을 높이는 방법: Sparse Attention, Linformer 등과 같은 방법은 Self-Attention의 계산 복잡도를 줄여, 긴 시퀀스 데이터를 처리할 수 있도록 돕습니다.
• 메모리 사용량을 줄이는 방법: Gradient checkpointing, Quantization 등과 같은 기술은 메모리 사용량을 줄여, 더 큰 모델을 학습할 수 있도록 돕습니다.
• 데이터 효율성을 높이는 방법: Transfer learning, Pre-training 등과 같은 방법은 적은 양의 데이터로도 좋은 성능을 낼 수 있도록 돕습니다.

7. 결론

Transformer는 Self-Attention 메커니즘을 기반으로 하는 획기적인 모델로, 딥러닝 분야에 혁신적인 변화를 가져왔습니다. RNN의 한계를 극복하고, 다양한 NLP 태스크에서 뛰어난 성능을 보여주며, 현재 딥러닝 분야에서 가장 중요한 모델 중 하나로 자리 잡았습니다. 앞으로도 Transformer는 계산 효율성, 메모리 사용량, 데이터 효율성 등 다양한 측면에서 지속적인 발전을 이룰 것으로 기대됩니다.