Related to: Machine Learning
개요
PyTorch에서 행렬 곱셈을 수행하는 두 함수 torch.mm과 torch.matmul의 차이점을 정리합니다.
핵심 개념
Torch.mm vs Torch.matmul 차이점
- torch.matmul
- torch.matmul은 broadcast를 지원합니다.
- torch.mm
- torch.mm은 broadcast를 지원하지 않습니다.
- 따라서 mm은 정확하게 matrix 곱의 사이즈가 맞아야 사용이 가능합니다.
- Broadcast
-
broadcast 기능은 아래의 예제와 같이 T1(10, 3, 4) T2(4)을 곱할 때, 맨 앞의 dim이 3개 일 때는 첫 dim을 batch로 간주하고 T1 (3, 4) tensor의 10개의 batch와 각각 T2(4)랑 곱을 해주는 것입니다.
-
관련 개념
- Machine Learning - 행렬 곱셈이 사용되는 머신러닝 수학 기반
- numpy.ndarray.view와 numpy.ndarray.reshape의 차이 - numpy 텐서 연산 관련 개념
- 자동 미분(Autograd) - 텐서 연산과 자동 미분