이상치의 정의(Definition of Anomalies)
이상 탐지(Anomaly Detection)는 정상인 데이터(Normal Sample Data)들 사이에서 비정상인 데이터(Abnormal Sample Data)를 탐지하는 연구 분야를 말합니다. 이상 탐지는 교통 분야(Illegal Traffic Flow Detection), 의료 분야(Detecting Retinal Damage), 통신 분야(Cyber-Network Intrusion Detection), IoT 분야(Internet of Things Big - Data Anomaly Detection)에서 활발하게 쓰이고 있습니다. 이상치(Abnormal Sample)는 그 시스템의 이상 현상에 대한 정보를 제공해주기 때문에 이상치를 탐지하고 이를 분석하는 것은 중요한 문제라고 할 수 있습니다[1].
이번 글에서는 이상 탐지 분야에서 말하는 이상치(Anomalies)가 무엇인지에 대해 정의해보도록 하겠습니다.
아쉽게도 이상치(Anomalies, Outliers)에 대한 명확한 정의는 존재하지 않습니다. 그렇기 때문에 많은 통계학, 머신러닝 연구자들은 이상치에 대해 자신만의 정의를 내리고 있고, 그 정의들을 요약하면 다음과 같은 문장으로 정리할 수 있습니다[2].
$\rm{Definition}~:~An~anomaly~is~an~observation~or~a~sequence~of~observations~which~deviates~remarkably\\from~the~general~distribution~of~data. The~set~of~the~anomalies~form~a~very~small~part~of~the~dataset.$
다시 말해, 이상치는 정상 데이터들과 매우 많이 떨어져 있고, 그 비율이 정상 데이터의 비율보다 현저히 적은 데이터를 말합니다. 정상 데이터와 비 정상 데이터의 아주 간단한 예시는 아래의 그림과 같습니다.
왼쪽 그림은 정상 데이터들(파란 점)과 비 정상 데이터(빨간 점)가 명확하게 구분되는 경우 입니다. 이런 경우에 비 정상 데이터들을 구별하는 것은 쉬울 것으로 예상할 수 있습니다. 오른쪽 그림은 정상 데이터들과 비 정상 데이터가 노이즈로 인해 명확하게 구분되지 않는 경우 입니다. 이런 경우에 비 정상 데이터들을 구별하는 것은 쉽지 않을 것으로 예상할 수 있습니다.
[참고 문헌]
[1] CHALAPATHY, Raghavendra; CHAWLA, Sanjay. Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407, 2019.
[2] BRAEI, Mohammad; WAGNER, Sebastian. Anomaly detection in univariate time-series: A survey on the state-of-the-art. arXiv preprint arXiv:2004.00433, 2020.