배치 정규화는 각 층의 활성화 함수의
출력값 분포가 골고루 분포되도록 '강제'하는 방법
으로, 각 층에서의 활성화 함수 출력값이 정규분포를 이루도록 하는 방법입니다.
입력 데이터에 대해 정규화(normalization)를 거치게 되면, 값이 대부분 0에 가까운 값이 됩니다.
(0~1 사이의 값)
만약, 입력 변수가 선형 적으로 결합된다면 적어도 이론 상으로는 입력을 표준화하는 것이 거의 필요하지 않습니다. 왜냐하면 해당 예측 변수에 weight와 bais를 역산하면 입력 벡터를 재조정하면 이전과 완전히 똑같은 결과를 남길 수 있기 때문입니다.
하지만 입력을 표준화 하게 되면 학습을 더 빨리하고 지역 최적/최악의 상태에 빠지게 될 가능성을 줄이는 다양한 실용적인 이유(데이터 시각화 용이 등)가 있기 때문에 거치는 과정입니다.