신경망, CNN, RNN, Transformer 등 딥러닝의 핵심 모델과 학습 알고리즘을 직접 구현하고 정리한 노트들입니다.
1-3. 딥러닝이란 무엇인가: 신경망과의 관계
딥러닝의 정의와 머신러닝과의 관계, 특히 신경망과의 연관성을 설명하고, 딥러닝의 장점을 강조합니다.
1-5. 딥러닝 개발 환경 설정: GPU, CUDA, cuDNN
딥러닝 연구 및 실습을 위한 GPU, CUDA, cuDNN 설치 및 설정 방법, 환경 점검 방법을 다룹니다.
3-4. 오차 역전파 (Backpropagation): 딥러닝 학습의 핵심 원리
오차 역전파 알고리즘의 원리를 수학적으로 설명하고, 다층 퍼셉트론 학습에 어떻게 적용되는지 보여줍니다.
6-4. GRU (Gated Recurrent Unit): LSTM 간소화 버전
GRU의 구조와 작동 원리를 설명하고, LSTM과 비교하여 장단점을 분석합니다.
3-7. 경사 하강법의 변형: Momentum, AdamW
경사 하강법의 단점을 보완하기 위한 모멘텀, AdamW 등 다양한 최적화 알고리즘에 대해 설명하고, 각 알고리즘의 특징과 사용 사례를 비교합니다.
7-1. Attention Mechanism: 딥러닝 모델 집중력 향상
Attention Mechanism의 원리와 작동 방식을 설명하고, 딥러닝 모델의 성능 향상에 기여하는 바를 분석합니다.
2-2. 미분과 경사하강법: 딥러닝 최적화의 핵심
미분의 개념과 경사하강법을 설명하고, 딥러닝 모델 학습 과정에서 최적화를 위해 어떻게 사용되는지 설명합니다.
11-3. Semantic Segmentation: 픽셀 단위 이미지 분류
Semantic Segmentation의 개념과 응용 분야를 소개하고, 픽셀 단위 이미지 분류 방법을 설명합니다.
6-1. 순환 신경망 (RNN) 기초: 순환 구조, 은닉 상태
순환 신경망(RNN)의 기본적인 구조와 작동 원리를 설명하고, 시퀀스 데이터 처리 방식의 특징을 강조합니다.
9-6. 오버피팅(Overfitting)과 언더피팅(Underfitting): 개념, 진단, 해결법
오버피팅과 언더피팅의 개념, 발생 원인, 진단 방법, 해결 전략 (Regularization, Dropout, Data Augmentation 등)을 자세히 설명합니다.
3-3. 다층 퍼셉트론 (MLP): 구조, 학습 과정, 그리고 한계
다층 퍼셉트론(MLP)의 구조와 학습 과정을 상세히 설명하고, 단층 퍼셉트론의 한계를 극복하는 방법을 제시합니다.
4-3. PyTorch 설치 및 기본 사용법: 텐서 연산, 자동 미분
PyTorch 라이브러리의 설치 방법과 기본적인 사용법(텐서 연산, 자동 미분)을 소개하고, 예제 코드를 제공합니다.