Linux Server를 사용하다보면 용량이 초과되어서 오류가 발생하는 경우가 있습니다. 그 경우에 du 명령어를 사용하여 디렉토리의 용량을 확인할 수 있습니다. max_depth 인자는 어느 정도 깊이의 폴더까지 확인할 것인가를 조정하는 인자입니다. h인자를 주게되면, 사람이 확인하기 쉬운 용량으로 바꿔서 출력해줍니다. 아마 기본값은 Gigabytes인 것 같습니다. du 명령어의 예시는 아래와 같습니다. du -h --max-depth=1

Pytorch에서 모델을 loading하다가 아래의 그림과 같은 오류가 발생 되었는데, 흔하게 발생하는 오류가 아니라서 당황스러웠네요..찾아보니까 모델을 저장하는 과정에서 어떤 이유로 인해서 중단되는 경우에 이런 오류가 발생하더라구요. 모델이 저장되는 과정에 중단되지 않게한다면 아래와 같은 오류가 발생되지 않을 수 있을 것 같습니다.

Pytorch를 사용하면서 많은 에러를 보았지만, 위와 같은 에러는 한 번도 본 적이 없어서 당황스러웠던 것 같습니다. 여러 자료를 찾아보니, 새로운 GPU모델과 pytorch간의 호환성에서 문제가 발생한다고 하는데, 정확하게 어떤 원인으로 발생하는지는 모르겠습니다. 제가 해결했던 방법 중 하나는 batch size 크기를 줄이는 것이었습니다. 혹시나 위와 같은 오류로 헤매고 있는 분들은 batch size를 먼저 줄여보시는 것을 추천 드립니다!

이상 탐지(Anomaly Detection)는 정상인 데이터(Normal Sample Data)들 사이에서 비정상인 데이터(Abnormal Sample Data)를 탐지하는 연구 분야를 말합니다. 이상 탐지는 교통 분야(Illegal Traffic Flow Detection), 의료 분야(Detecting Retinal Damage), 통신 분야(Cyber-Network Intrusion Detection), IoT 분야(Internet of Things Big - Data Anomaly Detection)에서 활발하게 쓰이고 있습니다. 이상치(Abnormal Sample)는 그 시스템의 이상 현상에 대한 정보를 제공해주기 때문에 이상치를 탐지하고 이를 분석하는 것은 중요한 문제라고 할 수 있습니다[1]..

이상 탐지(Anomaly Detection)는 정상인 데이터(Normal Sample Data)들 사이에서 비정상인 데이터(Abnormal Sample Data)를 탐지하는 연구 분야를 말합니다. 이상 탐지는 교통 분야(Illegal Traffic Flow Detection), 의료 분야(Detecting Retinal Damage), 통신 분야(Cyber-Network Intrusion Detection), IoT 분야(Internet of Things Big - Data Anomaly Detection)에서 활발하게 쓰이고 있습니다. 이상치(Abnormal Sample)는 그 시스템의 이상 현상에 대한 정보를 제공해주기 때문에 이상치를 탐지하고 이를 분석하는 것은 중요한 문제라고 할 수 있습니다[1]..

이번 글에서는 잠재 변수가 시간적인 순서를 따라 나타나는 경우를 모델링하는 선형 역학계에 대해 알아보겠습니다. [관련 글] 가우시안 혼합모델의 확장(Extention of Gaussian Mixture), 확률적 주성분 분석(Probabilistic PCA),2. 마르코프 체인(Markov Chain) 관찰된 변수의 분포를 더 다양하게 만들기 위해 잠재 변수를 도입하는 모델은 많이 사용되어 왔습니다. 예를 들어서, 이산형 잠재 변수를 사용하는 모델은 가우시안 혼합 모델과 은닉 마르코프 모델(Hidden Markov Models)이 있고, 연속형 잠재 변수를 사용하는 모델은 확률적 주성분 분석 모델이 있습니다. 한편, 우리가 시간을 다루는 모델을 생각해볼 때, 시간 사이에 종속성이 있을 수도 있고, 관측된..