인간의 의사결정은 때로는 이성적이고 논리적이며, 때로는 감정적이고 예측 불가능하게 보입니다. 그런데 과연 이런 인간의 복잡한 선택 과정을 수학, 그중에서도 ‘확률’로 설명할 수 있을까요? 실제로 경제학, 심리학, 인지과학 등 다양한 분야에서 인간의 의사결정을 확률적으로 모델링하려는 시도가 이루어지고 있으며, 특히 인공지능과 머신러닝에서도 이 개념은 핵심적인 역할을 합니다. 이 글에서는 확률이 인간의 선택과 판단을 얼마나 정밀하게 설명할 수 있는지를 살펴보고, 그 한계와 가능성에 대해 탐구해보겠습니다.
베이즈 이론: 인간의 직관적 사고를 수학화하다
베이즈 확률(Bayesian probability)은 조건부 확률을 기반으로 한 사고방식으로, 인간의 ‘추론’을 수학적으로 설명할 수 있는 가장 대표적인 도구입니다. 사람들은 새로운 정보를 접할 때 기존 신념을 업데이트하는데, 이는 다음의 공식으로 요약됩니다:
\[ P(H|D) = \frac{P(D|H) \cdot P(H)}{P(D)} \]
여기서 \(P(H|D)\)는 데이터를 관찰한 후 가설 H가 맞을 확률이며, 이는 사람들이 어떤 선택을 할 때 기존 경험(P(H))과 새로운 정보(P(D|H))를 종합하여 결정하는 방식과 유사합니다.
예를 들어, 의사가 환자의 증상을 바탕으로 질병을 진단하거나, 투자자가 시장 정보를 바탕으로 주식을 매수/매도하는 판단은 모두 베이즈적 사고와 유사한 메커니즘을 따릅니다.
확률적 선택 이론: 인간은 항상 최선을 선택하지 않는다
전통적인 경제학에서는 인간이 언제나 자신의 효용을 극대화하는 ‘합리적 존재’라고 가정했습니다. 그러나 실제로 인간은 때때로 비합리적인 선택을 하며, 동일한 상황에서도 서로 다른 판단을 내립니다.
이러한 현상을 설명하기 위해 ‘확률적 선택 이론(Stochastic Choice Theory)’이 등장했습니다. 이 이론에 따르면 인간은 여러 선택지 중에서 가장 높은 효용을 가질 가능성이 높은 것을 ‘확률적으로’ 선택합니다. 예를 들어 다음과 같은 모델이 존재합니다:
\[ P(i) = \frac{e^{\lambda U_i}}{\sum_{j} e^{\lambda U_j}} \]
여기서 \(U_i\)는 선택지 i의 효용이며, \(\lambda\)는 결정 강도를 조절하는 파라미터입니다. 이 모델은 사람들이 항상 최고의 선택을 하는 것이 아니라, 더 나아 보이는 선택을 ‘높은 확률’로 고른다는 점을 반영합니다.
게임이론과 혼합전략: 불확실한 상황에서의 확률적 결정
게임이론에서는 인간이 상호작용 속에서 어떻게 전략적으로 행동하는지를 분석합니다. 특히 혼합전략(Mixed Strategy)은 하나의 행동만을 택하는 것이 아니라, 여러 전략 중 하나를 ‘확률적으로’ 선택하는 방식입니다.
예를 들어 가위바위보 게임에서 최적 전략은 특정 수를 무조건 고르는 것이 아니라, 세 가지 중 하나를 각각 1/3 확률로 고르는 것입니다. 이는 상대방이 예측할 수 없도록 자신의 행동을 무작위화함으로써 생존 확률을 높이는 전략입니다.
이러한 개념은 정치, 외교, 시장 경쟁, 심지어 인간 관계의 전략적 결정에서도 광범위하게 응용됩니다.
행동경제학과 확률적 인지: 인간의 오차도 패턴이다
카너먼과 트버스키의 연구는 인간이 확률을 해석하고 사용하는 방식이 때때로 체계적으로 왜곡된다는 점을 밝혔습니다. 예를 들어, 사람들은 극단적 사건의 확률을 과대평가하거나, 손실에 더 민감하게 반응하는 성향을 보입니다. 이를 prospect theory(전망 이론)로 설명할 수 있습니다.
이 이론에서는 사람들의 의사결정이 다음과 같은 가치 함수에 의해 설명됩니다:
\[ v(x) = \begin{cases} x^\alpha & \text{if } x \geq 0 \\ -\lambda (-x)^\beta & \text{if } x < 0 \end{cases} \]
여기서 \(\lambda > 1\)은 손실이 이득보다 더 큰 심리적 영향을 준다는 것을 나타냅니다. 이처럼 인간의 비합리성조차 일정한 확률 패턴으로 설명될 수 있습니다.
딥러닝과 확률적 모델링: AI는 어떻게 인간을 흉내내는가?
현대 인공지능은 확률론을 핵심 기반으로 삼고 있으며, 특히 의사결정 모델링에 있어서 인간을 모방합니다. 강화학습(RL)에서는 에이전트가 보상을 최대화하기 위해 상태별로 행동을 선택하는데, 이 과정은 확률 분포를 따릅니다.
예를 들어 정책 함수(policy function)는 다음과 같은 확률 분포로 표현됩니다:
\[ \pi(a|s) = P(\text{action } a \text{ in state } s) \]
이는 에이전트가 모든 가능한 행동을 일정한 확률에 따라 선택함으로써 최적 전략을 학습하게 합니다. 인간의 결정도 이와 유사하게, 상황에 따라 확률적으로 다양한 반응을 보입니다.
결론
확률은 인간의 의사결정을 설명하는 매우 유용한 도구입니다. 인간은 단순히 논리적인 계산기가 아니라, 경험, 감정, 상황에 따라 유연하게 반응하는 존재이며, 이 복잡성을 가장 잘 다루는 도구 중 하나가 확률입니다.
베이즈 이론은 인간이 어떻게 정보를 업데이트하고 추론하는지를 설명하고, 확률적 선택 이론은 사람들이 항상 최고의 선택을 하지는 않는다는 현실을 반영합니다.
게임이론과 행동경제학은 상호작용 속에서의 전략과 심리적 편향까지도 확률적으로 모델링하며, AI와 딥러닝 기술은 이를 실제로 구현해내고 있습니다.
비록 확률이 인간의 ‘의도’나 ‘가치 판단’까지 완전히 설명하긴 어렵지만, 확률은 인간의 불확실성과 다층적 행동을 수학적으로 해석할 수 있게 해주는 핵심 언어입니다.