Related to: Fundamentals
개요
Denny Britz가 2020년 7월에 정리한 딥러닝 발전에 있어 가장 중요한 아이디어들의 연대기입니다. Machine Learning에서 Deep Learning으로의 패러다임 전환을 이끈 핵심 연구들을 요약합니다.
핵심 개념
주요 마일스톤
- [AlexNet]
- 고전적인 ML이 아닌, Deep Learning을 이용해서 처음으로 ImageNet 대회에서 우승
- ML → DL로의 Paradigm Shift
- DQN(2013)
- 딥마인드가 아타리를 DQN으로 Play
- 후에 AlphaGo 탄생
- Encoder / Decoder(2014)
- 기계어 번역의 Trend가 바뀜
- [Basic Optimizer & Adam(Adaptive Moment Esimation)|Adam Optimizer]
- Hyperparameter에 Tune의 부담이 크게 감소
- Adam을 쓰면 왠만하면 잘 되기 때문에 연구자들이 본인의 연구에 집중 할 수 있게 됨
- [GAN(Vanilla GAN)|GAN]
- [ResNet|Residual Networks]
- 기존보다 Network를 더 깊이 쌓을 수 있게 됨
- Transformer(2017)
- BERT(2018, Bidirectional Encoder Representations from Transformers)
- BIG Language Models(2019, GPT-X)
- Self Supervised Learning(2020)
관련 개념
- AlexNet — ML → DL 전환의 계기가 된 모델
- ResNet — 네트워크를 더 깊게 쌓을 수 있게 한 혁신
- GAN(Vanilla GAN) — 생성 모델의 새 패러다임
- Basic Optimizer & Adam(Adaptive Moment Esimation) — 딥러닝 학습을 크게 개선한 옵티마이저
- ViT — Transformer를 비전에 적용한 모델
- Swin Transformer — ViT 이후 등장한 계층적 Vision Transformer