1. 퍼셉트론 퍼셉트론은 가장 간단한 신경망으로 입력, 연산, 출력으로 이뤄진다. 퍼셉트론은 위 그림처럼 다수의 입력을 받고, 해당 입력에 f(wx + b) 연산을 진행하고, 일반적으로 비선형 함수인 활성화 함수를 거쳐, y hat값을 구하는 과정이다. 즉, 퍼셉트론은 선형함수와 비선형함수의 조합이다. 선형함수인 wx + b 연산을 affine transformation(아핀 변환)이라고도 부른다. 2. 활성화 함수 (1) 시그모이드 신경망 분야의 초창기부터 사용한 활성화 함수로, 임의의 실수값을 받아서 0과 1 사이의 범위로 압축한다. 식은 다음과 같으며, 그래프는 다음과 같다. 그래프에서 볼 수 있다시피, 입력이 얼마나 큰 값이 들어오던 상관없이 0과 1로 수렴하기 때문에 매우 극단적인 출력을 만들곤..
