정답
ReLU 함수를 사용할 때 퍼셉트론의 출력 값은 \(5\)이고, 그림 4의 퍼셉트론에서 입력이 \((0,1)\), \((1,0)\)일 때 출력 값은 순서대로 \(1, 1\)이다.
출제 의도
퍼셉트론의 가중치 합과 활성화 함수(ReLU, 계단 함수)의 관계를 이해하고, 다층 퍼셉트론 구조가 XOR과 같은 비선형 문제를 어떻게 해결하는지를 파악하는지를 묻는 문제이다.
풀이 과정
퍼셉트론의 출력은 일반적으로 다음과 같이 표현된다.
$$ y = f\!\left(\sum_i w_i x_i + b\right) $$
문제에서 주어진 상황은 가중치 합이 \(\sum_i w_i x_i + b = 5\)이고, 활성화 함수 \(f\)로 ReLU 함수를 사용한다고 했다. ReLU 함수는 다음과 같이 정의된다.
$$ \mathrm{ReLU}(s) = \max(0, s) $$
여기에 \(s = 5\)를 대입하면
$$ y = \mathrm{ReLU}(5) = \max(0,5) = 5 $$
이므로 첫 번째 물음에서 퍼셉트론의 출력 값은 \(5\)가 된다.
다음으로 그림 4의 구조는 두 개의 퍼셉트론 출력을 다시 하나의 퍼셉트론 입력으로 연결한 다층 퍼셉트론이며, 주어진 가중치와 편향 값은 XOR 문제를 해결하도록 설계되어 있다. XOR 연산은 두 입력 값이 서로 다를 때 \(1\), 같을 때 \(0\)을 출력한다.
따라서 입력 \(x\)가 \((0,1)\)인 경우와 \((1,0)\)인 경우는 서로 다른 두 값이므로, 두 경우 모두 XOR 연산의 결과는
$$ \text{XOR}(0,1) = 1,\qquad \text{XOR}(1,0) = 1 $$
이다. 계단 함수를 활성화 함수로 사용하는 그림 4의 퍼셉트론도 바로 이 XOR을 구현하므로, 최종 출력 값은 \((0,1)\)일 때 \(1\), \((1,0)\)일 때도 \(1\)이 된다.
<풀이가 부정확할 수 있으니 반드시 교차검증 확인 바랍니다.>