3-1. PyTorch 소개: 텐서

1. PyTorch 시작하기: 텐서의 세계로

딥러닝의 세계에 발을 들인 여러분을 환영합니다! PyTorch는 딥러닝 모델을 구축하고 학습시키는 데 널리 사용되는 강력한 프레임워크입니다. PyTorch를 이해하는 첫걸음은 바로 '텐서(Tensor)'입니다. 텐서는 PyTorch의 핵심 데이터 구조이며, 딥러닝 모델이 데이터를 처리하는 기본적인 방법입니다. 마치 파이썬의 list나 numpy의 ndarray와 같은 역할을 수행한다고 볼 수 있습니다.

1) 텐서란 무엇인가?

텐서는 딥러닝에서 데이터를 표현하는 데 사용되는 다차원 배열입니다. 쉽게 말해, 텐서는 숫자들을 담는 그릇이며, 이 그릇의 차원(dimension)은 텐서가 표현하는 데이터의 형태를 결정합니다. 0차원 텐서는 스칼라(scalar), 1차원 텐서는 벡터(vector), 2차원 텐서는 행렬(matrix)과 같이 이해할 수 있습니다. 3차원 이상의 텐서는 고차원 데이터를 표현하며, 이미지, 비디오, 시계열 데이터 등 다양한 형태의 데이터를 다루는 데 사용됩니다.

2) 왜 텐서를 사용하는가?

• 효율적인 연산: 텐서는 GPU를 활용한 병렬 연산을 지원하도록 설계되어 있습니다. 이는 대규모 데이터를 빠르게 처리해야 하는 딥러닝 모델의 학습 속도를 크게 향상시킵니다.
• 다양한 데이터 표현: 텐서는 다양한 차원을 가질 수 있으므로, 다양한 형태의 데이터를 유연하게 표현할 수 있습니다.
• 자동 미분: PyTorch는 텐서에 대한 자동 미분 기능을 제공합니다. 이는 모델 학습 과정에서 기울기(gradient)를 자동으로 계산하여, 복잡한 모델의 학습을 용이하게 합니다.

2. 텐서의 종류와 자료형

PyTorch에서 텐서는 다양한 자료형을 가질 수 있으며, 이는 텐서가 저장할 수 있는 값의 종류와 정밀도를 결정합니다. 올바른 자료형을 선택하는 것은 메모리 사용량과 연산 속도에 영향을 미치므로 중요합니다.

1) 자료형 (Data Types)

PyTorch는 다음과 같은 다양한 자료형을 지원합니다.

• torch.float32 (torch.float): 32비트 부동 소수점
• torch.float64 (torch.double): 64비트 부동 소수점
• torch.float16 (torch.half): 16비트 부동 소수점
• torch.int64 (torch.long): 64비트 정수
• torch.int32 (torch.int): 32비트 정수
• torch.int16 (torch.short): 16비트 정수
• torch.int8 (torch.char): 8비트 정수
• torch.uint8 (torch.byte): 8비트 부호 없는 정수
• torch.bool: 부울(Boolean)

일반적으로, 모델 학습에는 torch.float32를 많이 사용합니다. 메모리 사용량을 줄여야 하는 경우에는 torch.float16을, 정수 연산이 필요한 경우에는 정수형 자료형을 선택할 수 있습니다.

2) 텐서 생성 방법

PyTorch에서 텐서를 생성하는 방법은 다양합니다.

• torch.Tensor(): 기본적인 텐서를 생성합니다.
• torch.zeros(), torch.ones(), torch.rand(), torch.randn(): 특정 값으로 채워진 텐서를 생성합니다.
• torch.tensor(): 파이썬 list나 numpy 배열로부터 텐서를 생성합니다.

import torch

# 0으로 채워진 2x3 텐서
zeros_tensor = torch.zeros(2, 3)
print(zeros_tensor)

# 1로 채워진 2x3 텐서
ones_tensor = torch.ones(2, 3)
print(ones_tensor)

# 0과 1 사이의 랜덤 값으로 채워진 2x3 텐서
rand_tensor = torch.rand(2, 3)
print(rand_tensor)

# 평균 0, 분산 1의 정규 분포를 따르는 2x3 텐서
randn_tensor = torch.randn(2, 3)
print(randn_tensor)

# 파이썬 리스트로부터 텐서 생성
list_tensor = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(list_tensor)

# 자료형 지정
float_tensor = torch.tensor([1, 2, 3], dtype=torch.float32)
print(float_tensor)

3) 텐서의 속성

텐서는 다음과 같은 유용한 속성을 가지고 있습니다.

• dtype: 텐서의 자료형을 나타냅니다.
• shape: 텐서의 각 차원의 크기를 나타냅니다.
• device: 텐서가 저장된 장치 (CPU 또는 GPU)를 나타냅니다.

import torch

x = torch.randn(2, 3)  # 랜덤 텐서 생성

print(x.dtype)  # torch.float32
print(x.shape)  # torch.Size([2, 3])
print(x.device)  # cpu

3. 텐서의 차원 이해하기

텐서의 차원은 딥러닝에서 매우 중요한 개념입니다. 텐서의 차원은 텐서가 표현하는 데이터의 구조를 결정하며, 텐서 연산의 결과에도 영향을 미칩니다.

1) 차원 (Dimension)

• 0차원 텐서 (스칼라): 하나의 숫자 값을 나타냅니다.
• 1차원 텐서 (벡터): 숫자의 배열을 나타냅니다.
• 2차원 텐서 (행렬): 행과 열로 구성된 숫자의 배열을 나타냅니다.
• 3차원 텐서 이상: 여러 개의 행렬이 쌓여 있는 형태, 또는 이미지 데이터(채널, 높이, 너비), 시계열 데이터(시퀀스 길이, 특징) 등을 표현하는 데 사용됩니다.

위 그림은 텐서의 다양한 차원을 시각적으로 보여줍니다. 0차원(스칼라)에서 1차원(벡터), 2차원(행렬)을 거쳐 3차원 이상으로 확장되는 텐서의 구조를 이해하는 데 도움이 됩니다. 이러한 차원 정보는 PyTorch에서 텐서를 다루는 데 핵심적인 역할을 합니다.

2) shape 속성

텐서의 shape 속성은 각 차원의 크기를 튜플 형태로 반환합니다. 예를 들어, torch.Size([2, 3, 4])는 3차원 텐서이며, 첫 번째 차원은 크기 2, 두 번째 차원은 크기 3, 세 번째 차원은 크기 4임을 의미합니다.

import torch

x = torch.randn(2, 3, 4)
print(x.shape)  # torch.Size([2, 3, 4])

4. 텐서를 활용한 간단한 예시

텐서를 사용하여 간단한 연산을 수행하는 예시를 살펴보겠습니다.

import torch

# 두 개의 1차원 텐서 생성
a = torch.tensor([1, 2, 3])
b = torch.tensor([4, 5, 6])

# 텐서 덧셈
c = a + b
print(c)

# 텐서 곱셈 (원소별 곱셈)
d = a * b
print(d)

# 행렬 곱셈 (2차원 텐서에 적용)
# a.reshape(1, 3) : a를 1x3 행렬로 변환
# b.reshape(3, 1) : b를 3x1 행렬로 변환
e = torch.matmul(a.reshape(1, 3), b.reshape(3, 1))
print(e)

위 예시에서 텐서 연산을 통해 덧셈, 곱셈, 행렬 곱셈을 수행했습니다. 텐서의 차원과 연산 규칙을 이해하면, 딥러닝 모델을 구성하는 데 필요한 기본적인 연산을 수행할 수 있습니다.

5. 텐서를 GPU에 할당하기

딥러닝 모델의 학습 속도를 향상시키기 위해, 텐서를 GPU에 할당하는 것이 중요합니다. 텐서를 GPU에 할당하면, GPU의 병렬 연산 능력을 활용하여 연산 속도를 크게 높일 수 있습니다.

1) device 객체

PyTorch에서는 device 객체를 사용하여 텐서를 CPU 또는 GPU에 할당합니다.

import torch

# GPU가 사용 가능한지 확인
if torch.cuda.is_available():
    device = torch.device('cuda')  # GPU 사용
else:
    device = torch.device('cpu')  # CPU 사용

# 텐서 생성
x = torch.randn(2, 3)

# 텐서를 device로 이동
x = x.to(device)

print(x.device)

위 코드에서 torch.cuda.is_available() 함수를 사용하여 GPU 사용 가능 여부를 확인합니다. GPU가 사용 가능하다면 cuda를, 그렇지 않다면 cpu를 device 객체로 설정합니다. 그 다음, .to(device) 메서드를 사용하여 텐서를 해당 장치로 이동시킵니다.

2) 주의사항

• 텐서를 GPU에 할당하기 전에, GPU가 설치되어 있고 PyTorch가 GPU를 지원하도록 구성되어 있는지 확인해야 합니다.
• GPU에서 연산을 수행할 때는 메모리 사용량에 주의해야 합니다. GPU 메모리가 부족하면, 프로그램이 오류를 발생시킬 수 있습니다.

6. 결론

이번 포스트에서는 PyTorch의 핵심 데이터 구조인 텐서에 대해 알아보았습니다. 텐서의 개념, 자료형, 차원, 연산, 그리고 GPU 할당 방법에 대해 살펴보았습니다. 텐서는 딥러닝 모델을 구축하고 학습시키는 데 필수적인 요소이므로, 텐서에 대한 이해는 PyTorch를 효과적으로 사용하기 위한 중요한 첫걸음입니다. 다음 포스트에서는 텐서 연산에 대해 더욱 자세히 알아보도록 하겠습니다.