10-3. ONNX (Open Neural Network Exchange): 모델 포맷 변환

1. ONNX (Open Neural Network Exchange)의 등장 배경과 필요성

딥러닝 모델은 다양한 프레임워크에서 개발되고, 각 프레임워크는 고유한 모델 저장 방식과 연산 그래프 구조를 가지고 있습니다. 예를 들어, TensorFlow, PyTorch, Keras, Caffe 등은 각각 .pb, .pth, .h5, .caffemodel과 같은 고유의 모델 파일 형식을 사용합니다. 이러한 다양성은 모델의 재사용과 호환성을 어렵게 만듭니다. 만약 TensorFlow로 학습된 모델을 PyTorch 환경에서 사용하거나, 특정 하드웨어(예: GPU, TPU)에 최적화된 모델을 다른 환경으로 이전하려 한다면, 모델을 처음부터 다시 구현하거나 상당한 변환 과정을 거쳐야 합니다. 이러한 문제를 해결하기 위해, 딥러닝 모델의 상호 운용성을 확보하고, 다양한 프레임워크와 하드웨어 환경에서 모델을 쉽게 활용할 수 있도록 개발된 것이 바로 ONNX (Open Neural Network Exchange)입니다. ONNX는 프레임워크에 독립적인 표준 모델 형식으로, 서로 다른 딥러닝 생태계 간의 장벽을 낮추는 역할을 합니다.

2. ONNX의 핵심 개념

ONNX는 딥러닝 모델을 표현하기 위한 표준화된 형식입니다. 이는 모델의 구조와 학습된 가중치를 모두 포함하며, 특정 프레임워크에 종속되지 않습니다. ONNX 모델은 *.onnx 확장자를 가지는 파일로 저장되며, 이 파일은 모델의 연산 그래프를 정의합니다. 연산 그래프는 노드(Node)와 엣지(Edge)로 구성됩니다. 각 노드는 덧셈, 곱셈, 합성곱, 활성화 함수와 같은 연산을 나타내며, 엣지는 노드 간의 데이터 흐름을 정의합니다. ONNX는 이러한 연산들을 표준화된 방식으로 표현하여, 다양한 프레임워크에서 동일한 방식으로 해석하고 실행할 수 있도록 합니다.

1) ONNX 모델 구성 요소

ONNX 모델은 다음과 같은 주요 구성 요소로 이루어져 있습니다.

• 모델 프로토콜 버퍼 (Model Proto): ONNX 모델의 최상위 컨테이너로, 모델의 메타데이터, 연산 그래프, 초기화된 가중치 등을 포함합니다. 프로토콜 버퍼는 ONNX 모델을 직렬화하고 저장하는 데 사용되는 바이너리 형식입니다.
• 그래프 (Graph): 모델의 연산 흐름을 나타내는 핵심 구성 요소입니다. 그래프는 노드(Node)와 엣지(Edge)로 구성되며, 각 노드는 특정 연산을 수행하고 엣지는 데이터의 흐름을 정의합니다.
• 노드 (Node): 그래프의 기본 구성 요소로, 덧셈, 곱셈, 합성곱, 활성화 함수 등과 같은 개별적인 연산을 나타냅니다. 각 노드는 입력(inputs), 출력(outputs), 속성(attributes)을 가집니다.
• 텐서 (Tensor): 모델의 입력, 출력, 중간 데이터, 가중치 등을 표현하는 다차원 배열입니다. ONNX는 다양한 데이터 타입(float, int, bool 등)을 지원합니다.
• 연산자 (Operator): ONNX에서 정의된 표준 연산 집합입니다. ONNX는 다양한 딥러닝 모델에서 사용되는 일반적인 연산자들을 제공하며, 이를 통해 프레임워크 간의 호환성을 확보합니다.

2) ONNX의 장점

ONNX를 사용함으로써 얻을 수 있는 주요 장점은 다음과 같습니다.

• 프레임워크 간 호환성 향상: 다양한 딥러닝 프레임워크에서 학습된 모델을 다른 프레임워크에서 쉽게 사용할 수 있도록 합니다.
• 하드웨어 및 플랫폼 독립성: 특정 하드웨어(예: GPU, TPU)나 플랫폼에 최적화된 모델을 다른 환경으로 이전하여 활용할 수 있습니다.
• 모델 배포 및 서비스 용이성: ONNX 모델을 사용하여 다양한 환경에서 모델을 배포하고 서비스할 수 있습니다.
• 최적화 및 성능 향상: ONNX 런타임을 사용하여 모델의 성능을 최적화하고, 특정 하드웨어에 맞춰 가속화할 수 있습니다.

3. ONNX를 활용한 모델 변환

ONNX를 활용하여 모델을 변환하는 과정은 일반적으로 다음 단계를 따릅니다.

1. 모델 학습 및 저장: 원하는 딥러닝 프레임워크(예: PyTorch, TensorFlow)를 사용하여 모델을 학습하고, 해당 프레임워크의 고유한 형식으로 모델을 저장합니다.
2. ONNX로 변환: 학습된 모델을 ONNX 형식으로 변환합니다. 각 프레임워크는 ONNX로 변환하기 위한 별도의 도구나 라이브러리를 제공합니다.
3. ONNX 런타임 사용: 변환된 ONNX 모델을 ONNX 런타임(예: ONNX Runtime)을 사용하여 실행합니다. ONNX 런타임은 다양한 환경(CPU, GPU, 웹 브라우저 등)에서 ONNX 모델을 실행할 수 있도록 지원합니다.

1) PyTorch 모델을 ONNX로 변환하기

PyTorch에서는 torch.onnx.export 함수를 사용하여 PyTorch 모델을 ONNX 형식으로 변환할 수 있습니다. 다음은 간단한 예시입니다.

import torch
import torch.nn as nn

# 1. PyTorch 모델 정의
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.linear = nn.Linear(10, 5)

    def forward(self, x):
        return self.linear(x)

model = SimpleModel()

# 2. 모델을 ONNX로 변환
dummy_input = torch.randn(1, 10)  # 예시 입력 데이터
onnx_path = "simple_model.onnx"
torch.onnx.export(model, dummy_input, onnx_path, verbose=False)

print(f"PyTorch 모델이 {onnx_path}로 변환되었습니다.")

위 코드에서, SimpleModel은 간단한 선형 모델을 정의합니다. torch.onnx.export 함수는 모델, 예시 입력 데이터, 저장 경로를 인자로 받아서 모델을 ONNX 형식으로 변환합니다. verbose=False 옵션은 변환 과정의 상세 정보를 출력하지 않도록 설정합니다.

2) TensorFlow 모델을 ONNX로 변환하기

TensorFlow에서는 tf2onnx 라이브러리를 사용하여 TensorFlow 모델을 ONNX 형식으로 변환할 수 있습니다. tf2onnx는 TensorFlow 모델을 ONNX 형식으로 변환하는 데 필요한 유틸리티와 도구를 제공합니다.

pip install tf2onnx

import tensorflow as tf
import tf2onnx

# 1. TensorFlow 모델 정의 (예: 간단한 Dense 레이어)
model = tf.keras.Sequential([
    tf.keras.layers.Dense(units=5, input_shape=(10,))
])

# 2. TensorFlow 모델을 ONNX로 변환
input_signature <mark class="highlight"><strong><u> [tf.TensorSpec(shape</u></strong></mark>(None, 10), dtype=tf.float32, name='x')]
onnx_model, _ = tf2onnx.convert.from_keras(model, input_signature=input_signature, opset=13)

# 3. ONNX 모델 저장
with open("tensorflow_model.onnx", "wb") as f:
    f.write(onnx_model.SerializeToString())

print("TensorFlow 모델이 tensorflow_model.onnx로 변환되었습니다.")

위 코드에서, tf.keras.Sequential을 사용하여 간단한 Dense 레이어를 정의합니다. tf2onnx.convert.from_keras 함수를 사용하여 TensorFlow 모델을 ONNX 형식으로 변환합니다. input_signature는 모델의 입력 형식을 지정하며, opset은 ONNX 연산자 집합 버전을 지정합니다.

3) 변환 시 고려 사항

모델을 ONNX로 변환할 때 몇 가지 고려해야 할 사항이 있습니다.

• 지원되는 연산자: ONNX는 다양한 연산자를 지원하지만, 모든 딥러닝 프레임워크의 모든 연산자를 완벽하게 지원하지는 않습니다. 변환하려는 모델이 ONNX에서 지원하는 연산자만 사용하는지 확인해야 합니다. 만약 ONNX에서 지원하지 않는 연산자를 사용한다면, 해당 연산자를 ONNX 연산자로 변환하거나, 사용자 정의 연산자를 구현해야 할 수 있습니다.
• 입력 및 출력 형식: ONNX 모델의 입력 및 출력 형식은 변환 과정에서 정확하게 정의되어야 합니다. 입력 데이터의 차원, 데이터 타입 등을 올바르게 지정해야 모델을 실행하는 데 문제가 발생하지 않습니다.
• 버전 호환성: ONNX 런타임과 ONNX 모델 간의 버전 호환성을 확인해야 합니다. ONNX 런타임이 모델에서 사용된 ONNX 연산자 집합(opset) 버전을 지원하는지 확인해야 합니다.

4. ONNX 런타임 (ONNX Runtime)

ONNX Runtime은 ONNX 모델을 실행하기 위한 고성능 추론 엔진입니다. ONNX Runtime은 다양한 하드웨어 및 운영 체제를 지원하며, CPU, GPU, 그리고 특정 칩셋(예: Intel CPU, NVIDIA GPU, Qualcomm Snapdragon)에서 최적화된 실행을 제공합니다. ONNX Runtime은 모델의 성능을 향상시키기 위해 다양한 최적화 기술을 사용합니다.

1) ONNX 런타임의 특징

• 다양한 플랫폼 지원: Windows, Linux, macOS, 웹 브라우저 등 다양한 플랫폼에서 실행 가능합니다.
• 하드웨어 가속: CPU, GPU를 포함한 다양한 하드웨어에서 모델을 실행할 수 있으며, 하드웨어별 최적화를 통해 성능을 극대화합니다.
• 모델 최적화: 모델의 크기를 줄이고, 추론 속도를 향상시키기 위한 다양한 최적화 기술을 제공합니다.
• 다양한 API 지원: Python, C++, C#, Java, JavaScript 등 다양한 프로그래밍 언어에서 사용할 수 있는 API를 제공합니다.

2) ONNX 런타임 사용 예시 (Python)

import onnxruntime
import numpy as np

# 1. ONNX 모델 로드
onnx_path = "simple_model.onnx"
session = onnxruntime.InferenceSession(onnx_path)

# 2. 입력 데이터 준비
input_name = session.get_inputs()[0].name
input_data = np.random.randn(1, 10).astype(np.float32)

# 3. 모델 추론 실행
output_name = session.get_outputs()[0].name
results = session.run([output_name], {input_name: input_data})

# 4. 결과 출력
print("모델 출력:", results[0])

위 코드에서, onnxruntime.InferenceSession을 사용하여 ONNX 모델을 로드합니다. get_inputs()와 get_outputs() 함수를 사용하여 모델의 입력 및 출력 이름을 얻습니다. session.run() 함수를 사용하여 모델을 실행하고, 입력 데이터를 제공합니다. 모델의 출력 결과는 results 변수에 저장됩니다.

5. ONNX의 활용 사례

ONNX는 딥러닝 모델의 상호 운용성을 높이고, 다양한 환경에서 모델을 활용할 수 있도록 돕는 데 기여하고 있습니다.

• 프레임워크 간 모델 이전: PyTorch에서 학습된 모델을 TensorFlow 환경에서 사용하거나, 반대로 TensorFlow에서 학습된 모델을 PyTorch 환경에서 사용할 수 있습니다.
• 하드웨어 가속: ONNX 런타임을 사용하여 CPU, GPU, TPU 등 다양한 하드웨어에서 모델의 성능을 최적화하고 가속화할 수 있습니다. 특히, NVIDIA의 TensorRT와 같은 하드웨어 가속 솔루션과 통합하여 성능을 극대화할 수 있습니다.
• 엣지 디바이스 배포: ONNX 모델을 엣지 디바이스(예: 스마트폰, 임베디드 시스템)에 배포하여, 오프라인 추론이나 실시간 추론을 수행할 수 있습니다.
• 모델 저장 및 공유: ONNX 모델은 표준화된 형식으로 저장되므로, 모델을 쉽게 공유하고, 재사용할 수 있습니다.
• 학습된 모델의 통합: 서로 다른 프레임워크에서 학습된 여러 모델을 ONNX를 통해 통합하여, 복잡한 딥러닝 파이프라인을 구축할 수 있습니다.

6. 결론

ONNX는 딥러닝 모델의 상호 운용성을 확보하고, 다양한 환경에서 모델을 활용할 수 있도록 지원하는 핵심 기술입니다. ONNX를 통해 모델의 유연성을 높이고, 하드웨어 및 프레임워크에 대한 종속성을 줄여 딥러닝 모델의 활용 범위를 넓힐 수 있습니다. 딥러닝 모델을 개발하고 배포하는 과정에서 ONNX를 적절히 활용하면, 모델의 효율성과 생산성을 크게 향상시킬 수 있습니다. 앞으로 ONNX는 딥러닝 생태계에서 더욱 중요한 역할을 수행할 것으로 기대됩니다.