[Information Theory] 범함수(Functional)

이번 글에서는 통계학 및 정보이론에서 많이 등장하는 범함수의 정의에 대해 알아보겠습니다.

---

정의

변수의 값을 입력으로 받고, 함수의 값을 출력하는 관계를 함수라고 하고, 수식으로 다음과 같이 나타냅니다.

$Y=f(X)+\epsilon$

함수를 입력으로 받고, 함수의 값을 출력하는 관계를 범함수라고 합니다. 예를 들면, 정보이론에서 불확실성의 정도를 나타내는 엔트로피는 다음과 같이 나타낼 수 있습니다. 

$\textrm {H} \left [ p \right ] = \displaystyle \int p(x)~\textrm {ln} p(x)~dx$

관심사

함수의 입력값이 변할 때, 출력 값이 어떻게 변하는지에 대해 연구하는 학문이 미적분학(calculus)입니다. 미적분학에서는 출력 값을 최대(최소)로 하는 입력값을 찾는 것을 배웁니다.

마찬가지로, 함수의 입력 함수가 변할 때, 출력 값이 어떻게 변하는지에 대해 연구하는 학문이 미적분학의 하위 분야인 변분법(calculus of variations)입니다. 변분법에서는 출력 값을 최대(최소)로 하는 입력 함수를 찾는 것을 배웁니다.