[Information Theory] 범함수(Functional)

이번 글에서는 통계학 및 정보이론에서 많이 등장하는 범함수의 정의에 대해 알아보겠습니다. 정의 변수의 값을 입력으로 받고, 함수의 값을 출력하는 관계를 함수라고 하고, 수식으로 다음과 같이 나타냅니다. $Y=f(X)+\epsilon$ 함수를 입력으로 받고, 함수의 값을 출력하는 관계를 범함수라고 합니다. 예를 들면, 정보이론에서 불확실성의 정도를 나타내는 엔트로피는 다음과 같이 나타낼 수 있습니다. $\textrm {H} \left [ p \right ] = \displaystyle \int p(x)~\textrm {ln} p(x)~dx$ 관심사 함수의 입력값이 변할 때, 출력 값이 어떻게 변하는지에 대해 연구하는 학문이 미적분학(calculus)입니다. 미적분학에서는 출력 값을 최대(최소)로 하는 입력..

2021.08.03