Related to: Deep Learning
DeepLearning에서 가장 중요한 아이디어들(denny britz, 2020-07-29)
- AlexNet(2012)
- 고전적인 ML이 아닌, Deep Learning을 이용해서 처음으로 ImageNet 대회에서 우승
- ML → DL로의 Paradigm Shift
- DQN(2013)
- 딥마인드가 아타리를 DQN으로 Play
- 후에 AlphaGo 탄생
- Encoder / Decoder(2014)
- 기계어 번역의 Trend가 바뀜
- Adam Optimizer(2014)
- Hyperparameter에 Tune의 부담이 크게 감소
- Adam을 쓰면 왠만하면 잘 되기 때문에 연구자들이 본인의 연구에 집중 할 수 있게 됨
- GAN(2015)
- Residual Networks(2015)
- 기존보다 Network를 더 깊이 쌓을 수 있게 됨
- Transformer(2017)
- BERT(2018, Bidirectional Encoder Representations from Transformers)
- BIG Language Models(2019, GPT-X)
- Self Supervised Learning(2020)