여러 사람들이 사용하는 서버에서 메모리 용량이 부족한 현상이 발견되었습니다. 현재 부팅서버의 파티션이 /dev/vda1로 잡혀있어서 메모리 용량이 부족하면 동작이 안되더라구요... ubuntu에서 폴더의 용량을 확인하는 du 명령어를 통해서 확인해본 결과 패키지를 관리하는 anaconda가 대부분의 용량을 차지하고 있었습니다. 우선적으로는 ubuntu의 autoclean, clean, autoremove를 사용해보았으나 효과가 미미했습니다. (알고보니 이 프로그램은 용량을 비우는 프로그램이 아니였습니다...) 다음으로 고려해보았던 것은 폴더의 용량을 비우는 것이었습니다. 처음으로 고려한 폴더는 anaconda 폴더 였습니다. 하지만, anaconda의 용량을 비우는 것은 쉽지 않기 때문에 다른 폴더들을 ..

Linux Server를 사용하다보면 용량이 초과되어서 오류가 발생하는 경우가 있습니다. 그 경우에 du 명령어를 사용하여 디렉토리의 용량을 확인할 수 있습니다. max_depth 인자는 어느 정도 깊이의 폴더까지 확인할 것인가를 조정하는 인자입니다. h인자를 주게되면, 사람이 확인하기 쉬운 용량으로 바꿔서 출력해줍니다. 아마 기본값은 Gigabytes인 것 같습니다. du 명령어의 예시는 아래와 같습니다. du -h --max-depth=1

Pytorch에서 모델을 loading하다가 아래의 그림과 같은 오류가 발생 되었는데, 흔하게 발생하는 오류가 아니라서 당황스러웠네요..찾아보니까 모델을 저장하는 과정에서 어떤 이유로 인해서 중단되는 경우에 이런 오류가 발생하더라구요. 모델이 저장되는 과정에 중단되지 않게한다면 아래와 같은 오류가 발생되지 않을 수 있을 것 같습니다.

Pytorch를 사용하면서 많은 에러를 보았지만, 위와 같은 에러는 한 번도 본 적이 없어서 당황스러웠던 것 같습니다. 여러 자료를 찾아보니, 새로운 GPU모델과 pytorch간의 호환성에서 문제가 발생한다고 하는데, 정확하게 어떤 원인으로 발생하는지는 모르겠습니다. 제가 해결했던 방법 중 하나는 batch size 크기를 줄이는 것이었습니다. 혹시나 위와 같은 오류로 헤매고 있는 분들은 batch size를 먼저 줄여보시는 것을 추천 드립니다!