WandB

WandB Tutorial

WandB Tutorial

• WandB Platform
  • Experiments : experiment tracking
  • Sweeps : model optimization
  • Artifacts : dataset versioning
  • Tables : model evaluation
  • Reports : collaborative analysis

Experiment

• wandb.init() :
  • run별로 구분하기 위해
    name 또는 tags 설정
  • 이미 끝난 run을 resume하고 싶으면
    해당 run의 id 설정

wandb.init(project="ddpm", name="exp1", entity="semyu0102-viclab", config=__dict__, tags=["batch=32", f"lr={wandb.config.lr}"], id=...)
# wandb.run.name = wandb.run.id
# wandb.run.name = "exp1"
# wandb.run.save()
# wandb.config.update({"epochs":4, "batch_size":32})

• wandb.watch() :
  hook into model’s grad. or param.
  • log : ‘gradients’, ‘parameters’, ‘all’, ‘None’
  • log_freq=N : N batch마다 gradients 또는 parameters 기록

wandb.watch(model, criterion=criterion, log='all', log_freq=100)

• wandb.log() :
  step을 가로축으로 하여 dict 기록

wandb.log(__dict__, step=epoch)

• wandb.finish() :
  finish the run

wandb.finish()

• 모델 저장 :

artifact = wandb.Artifact('model', type='model')
artifact.add_file(f"model/resnet50.pt")
wandb.log_artifact(artifact)

• 이미지 저장 :

images=[]
images.append(wandb.Image(img[0], caption="Pred: {} Truth: {}".format(pred[0].item(), target[0])))
# img[0] : np array or PIL or matplotlib.figure.Figure ...
wandb.log({"Image": images}) # 100여개 정도까지가 한계

• 히스토그램 저장 :

wandb.log({"gradients": wandb.Histogram(sequence)}) 
# sequence : np array ...

Sweep

• Sweep :
  hyperparam. tuning에 쓰임

wandb sweep sweep.yaml # sweep_id 출력
wandb agent <sweep_id> --count <sweep 횟수>

• sweep.yaml :
  • program :
    sweep 실행할 code file
  • method :
    • bayes : bayesian 최적화를 통해 이전 실험 결과를 기반으로 효율적 탐색
    • grid : 모든 조합 탐색
    • random : random 선택
  • name, description
  • project :
    sweep할 wandb project명
  • entity :
    wandb 계정 유저명
  • metric :
    hyperparam. tuning을 통해 이뤄야 할 목표
    • name :
      wandb.log() 안에 넣은 이름으로 설정해야 함
  • parameters :
    tuning할 hyperparam.
    • min, max : 해당 범위 내에서 튜닝
    • values : 해당 list 선택지 중에서 튜닝
    • value : single 값으로, 튜닝 안 함
    • distribution: normal, mu, sigma : 해당 \(N(\text{mu}, \text{sigma})\) 분포로 sampling한 값 중에 튜닝
  • early_terminate :
    학습이 비효율적으로 진행될 경우 early stopping으로 자원 절약
    • type :
      early stopping 알고리즘 선택
      • hyperband
      • median
    • min_iter, max_iter : 최소, 최대 반복 횟수 범위 안에서 early stopping
  • command :
    code file 실행할 때의 commands
    • ${…} : parameters에서 정의한 hyperparam. 값을 동적으로 대입

program: main.py
method: bayes
name: ddpm-sweep
description: test ddpm sweep
project: ddpm
entity: semyu0102-viclab
meric:
  name: val_loss
  goal: minimize
parameters:
  learning_rate: 
    min: 0.0001
    max: 0.1
  optimizer:
    values: ["adam", "sgd"]
  epochs:
    value: 5
  parameter1:
    distribution: normal
    mu: 100
    sigma: 10
early_terminate:
  type: hyperband
  min_iter: 3
command:
  - python
  - train.py
  - --learning_rate=${learning_rate}