DAILY PAPER REVIEW

0102_Windowed momentum in NN

 

 

1. 논문제목: Improved backpropagation learning in neural networks with windowed momentum
   저널: International Journal of Neural Systems
    저자: Ernest Istook, Tony Martinez

2. 주저자 배경
저자 Tony Martinez 는 Brigham Young University의 Department of Computer Science 에서 Department chair professior로 근무하고 있다.

3. 논문 요약
이 논문은 Backpropagation neural network에 있어 효과적인 training을 위한 momentum 계수의 결정 방법론을 제시하고 있다. Momentum parameter의 경우 모델의 iteration 과정에서 최적해를 찾는데 필요한 인자로서, 수렴속도에 크게 영향을 미친다. 본 연구에서는 기존 과정의 문제점을 극복하고자 Windowed momentum을 적용해 보고자 하였다. 이것은 neural network에서 weight를 업데이트할 때 fixed width history를 이용하는 것이다. 본 방법을 적용했을 때에는 기존 방법에 비해 training 속도에서 많은 성능향상을 보였고, 또한 예측 성능의 개선도 볼 수 있었다. 총 15개의 data sets을 이용한 Test에서 평균 32%의 수렴 속도 증가를 보였다.
 
4. 논문의 독창성
이 논문은 Backpropagation Neural Network의 수렴속도 개선과 성능 향상을 위한 Windowed momentum 방법을 적용 하였다.

5. 논문의 적용 가능성
 본 연구에서 제시된 windowed momentum 적용 모델의 예측 성능 결과는 ANN 모델의 적용되는 parameter 중 momentum에 대한 중요성의 근거를 제시해 줄 수 있고, 민감도 분석연구에 있어 근거를 제시해 줄 수 있을 것으로 판단된다.

6. 요약자 E-mail: yepark@gist.ac.kr

첨부 (1)
20120102_Windowed momentum in NN.pdf
76.8KB / Download 18