Pytorch Tensor

import torch

Pytorch Tensor Summary

Python 문법

Create and Access Tensor

Tensor slice indexing

• a[start, end, step]에서 start, end는 시작 및 끝 위치만 정하고, 방향은 step이 정함
  e.g. a = np.arange(10)[8:5] 는 []
  e.g. a = np.arange(10)[8:5:-1] 는 [8, 7, 6]

• a[1,:,:,:,:,2] 대신 a[1,…,2] 으로 생략 가능

Tensor list(tensor) & boolean indexing

• Advanced Indexing :
  tensor a : shape (5, 5, 3)
  tensor b : shape (3,)
  tensor c : shape (3,)
  tensor d : shape (2,)
  a[b, d, :] : shape (3, 2, 3)
  a[b, c, :] : shape (3, 3)

gather, scatter_add indexing

where condition

Timing

Reshape, Permute

• dimension 추가 :
  • 방법 1. a.unsqueeze(1)
  • 방법 2. a[:, None]

element-wise, reduction operation, concatenation

• np에선 np.concatenate([a, b], axis=0)

Matrix operation

• a : shape (4, 3, 2), b : shape (4, 2, 3)일 때
  np.dot(a, b) : shape (4, 3, 4, 3) 이고
  a@b : shape (4, 3, 3) 이므로
  batched matrix multiplication 수행하는 a@b 권장

Broadcasting

• Broadcasting 규칙 :
  • 두 tensor의 차원이 다를 경우, 더 작은 차원의 tensor의 shape 앞에 1이 추가되어 동일한 차원이 된다
  • 두 텐서의 각 차원에서 크기가 같거나, 한쪽의 크기가 1인 경우에만 broadcasting 가능

In-place, GPU