Category: Python

  • 데이터 분할

    train, val, test 등으로 자료를 분할해서 사용할 수 밖에 없는 여건이 대부분인 경우가 많다. 이러한 3개가 아니면 train, val 등으로 2개로 나누어서 사용하기도 한다. 자료를 분할하는 방법은 여러가지가 있는데, class가 있는 경우에도 비율을 유지하며 분할하는 것에 대한 것은 찾지 못했다. PyTorch에서 제공하는 함수 중에서 torch.utils.data.SubsetRandomSampler이 가장 비슷한 것 같은데 예시를 보면 왠지 내가 원하는 기능이 아닌 것 같다.

    Class마다 개별적으로 코딩해서 넣어주어야 하지만, 나에게 가장 맞는 방법을 구현해 보았다.

    일단 파일 목록을 섞어 준다. 그리고 코드 오류를 확인하기 위하여 데이터셋을 줄일 수 있도록 한다. 예시는 0.02로 들었다.

    props = 0.02
    file_A = os.listdir('...')
    numpy.random.seed(21)
    numpy.random.shuffle(file_A)

    train, val, test 나눌 위치를 정한다. 임의로 섞었으니 앞부분부터 선택해도 상관없을 것이다.필요한 것은 train과 val 사이의 숫자와 val과 test 사이의 숫자이다. 정수에서 0~1 실수를 곱하는 것이니 소수점이 나오지만, 데이터는 정수이니 이와 관련된 부분을 고려한다.

    data_split_rate = (0.8, 0.1, 0.1)
    train_idx = int(len(file_A) * data_split_rate[0] * props)
    val_idx   = train_idx + int(len(file_A) * data_split_rate[1] * props)
    test_idx = int(len(file_A) * props)

    이제 0부터 진행하면서 기준 위치를 지나면 복사할 폴더를 변경하도록 해준다.

    for i, file_name in enumerate(file_A):
        if i < train_idx:
            os.system('cp FROM경로'+file_name+' TO_train/경로')
        if i >= train_idx and i < val_idx:
            os.system('cp FROM경로'+file_name+' TO_val/경로')
        if i >= val_idx and i < test_idx:
            os.system('cp FROM경로'+file_name+' TO_test/경로')
  • GPU 사용하기

    일단 컴퓨터에 장착한다. 나의 경우에는 메인보드의 VGA로 모니터에 연결해서 VGA에 따로 모니터를 연결하지는 않았다.

    NVIDA 홈페이지에 있는 방법대로 CUDA를 다운로드 한다.

    PyTorch 홈페이지에 가서 역시 CUDA를 이용한 PyTorch를 재설치한다. NVIDIA는 CUDA 11.1이고 PyTorch 11.0인데 일단 상관없이 잘 된다.

    배치 사이즈를 조절한다. 큰 숫자를 넣으면 메모리가 부족하다고 한다. 적절한 범위까지 꽤 낮추어 준다. 메모리가 잘 줄어들지 않으면 가장 간단하게 Notebook을 종료시켰다가 다시 실행한다. 충분히 줄어들어서 실행이 되면 기다린다. GPU만 쓰는게 아니라 중간에 CPU도 쓰는게 있다. 병행 작업은 너무 빡신것은 실행하지 않는 것이 좋을 것 같다.

    학습 속도가 엄청 빠르다.

  • Adam 최적화

    SGD건 Adam이건, 다른 것들이건 동작은 잘한다고 알려져 있다. 하지만, Adam이 왠만하면 먹히는 것이라고 하니 Adam을 이용해 보기로 한다.

    초보자 수준에서 SGD와 Adam의 가장 큰 차이는 학습률을 직접 조절하는 부분이 있는지에 대한 것일 것이다. SGD는 학습률 감소 부분을 설정해 주는 부분(scheduler)이 있어야 하지만, Adam에서는 없어도 된다. PyTorch에서 제공하는 Adam은 기본 값이 지정되어 있기 때문에, 별도로 입력해 주지 않아도 된다.

    https://pytorch.org/docs/stable/optim.html

    torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)

    원래 학습 부분 코드에서 scheduler 부분을 주석 처리하여 학습시키면 된다.

  • DenseNet 전이 학습하기

    일단 전이 학습에 대한 한글 자료는 네이버에 많다. 여기서 전이 학습을 찾아보면 십중 팔구 PyTorch의 ants와 bees를 구별하는 글을 번역한 것을 볼 수 있다. 실제로 자기 컴퓨터에 맞게 수정한 글들도 있지만, 거의 복불 같은 느낌이다.

    https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html

    일단 이 코드를 기반으로 DenseNet에 대하여 해보면 오류가 발생한다. 처음에 한글로 된 자료를 찾지 못하여 영어 자료를 찾다가 다음의 글에서 해결책을 찾을 수 있었다. 그 전에 무엇이 문제였는지부터 알아보자.

    https://pytorch.org/tutorials/beginner/finetuning_torchvision_models_tutorial.html

    우선 ResNet 모델을 보면, 마지막 부분에 (fc)라는 부분이 있을 것이다.

    import torchvision
    model_ft = torchvision.models.resnet18(pretrained=True)
    print(model_ft)
    ----
        )
      )
      (avgpool): AdaptiveAvgPool2d(output_size=(1, 1))
      (fc): Linear(in_features=512, out_features=1000, bias=True)
    )

    그래서 ResNet 전이학습에서는 이 부분을 연결하기 위해서 다음의 코드가 들어간다.

    num_ftrs = model_ft.fc.in_features

    그럼 DenseNet를 확인해 본다. 마지막에 classifier라고 되어 있는 것을 볼 수 있다.

    import torchvision
    model_ft = torchvision.models.densenet161(pretrained=True)
    ----
        )
        (norm5): BatchNorm2d(2208, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
      (classifier): Linear(in_features=2208, out_features=1000, bias=True)
    )

    그렇다면 classifier가 추가되어야 할 것이다. 위에서 언급한 링크에는 다음과 같이 예시되어 있다. 인터넷 자료에는 다른 classifier가 있기는 한데, 일단 공식(?) 자료는 간단하게 다음의 한 줄을 예로 들어 놓았다.

    model.classifier = nn.Linear(1024, num_classes)

    이제 실행해보면 될 것이다.