신현정 조준희 2020-02 29490 https://aurora.ajou.ac.kr/handle/2018.oak/19702 학위논문(석사)--아주대학교 일반대학원 :산업공학과,2020. 2 본 연구에서는 인공 신경망 학습에 유효한 연결가중치를 보존하고, 그렇지 못한 연결 가중치를 제거하는 regularization 방법을 제안하고자 한다. 제안 방법론은 Dropout과 Dropconnect의 가중치 제거 방식을 개선하여 무작위로 가중치를 제거하는 방식이 아닌 학습이 잘되는 가중치를 보존하고 학습이 부진한 연결가중치를 제거한다. 제안 방법론은 학습이 잘 이루어지는 연결가중치가 계속해서 학습이 잘되고, 그렇지 못한 연결 가중치들은 학습이 계속 부진한 현상을 관찰함을 비롯되었다. 이러한 현상을 학습관성이라고 정의하였고, 이를 활용한 신경망 연결가중치 제거 방법을 제안한다. 신경망 모델의 가중치 중 계속해서 값이 업데이트 되는 가중치를 활성 가중치, 학습이 계속 부진한 가중치를 비활성 가중치라고 정의하였다. 제안 방법론은 연결 가중치의 값 분포를 통해 비활성 가중치를 식별하여 이를 학습에서 제외하여 regularization을 수행한다. 실험을 통해 제안 방법론이 regularization 성능을 있음을 확인했고, 기존 방법론에 비해 학습 속도가 약 30% 빠름을 확인했다. 또한, 대부분의 벤치마크 데이터에서 기존 방법론에 비해 높은 분류 성능을 보이는 것을 검증했다. 1.서론 1 1.1. 인공 신경망 모델 1 1.2. 과적합 문제 2 2.기존연구 및 연구목표 4 2.1. Dropout/Dropconnect 4 2.2. 연구목표 5 3.제안 방법론 7 3,1. 배경이론: 역전파 알고리즘 7 3.2. 활성/비활성 가중치 정의 9 3.3. 비활성 가중치 식별 및 제외 11 4.실험 14 4.1. 제안방법론의 타당성 검증 14 4.2. Regulariation 성능 검증 실험 20 4.3. 성능 비교 실험 22 5.결론 33 6.참고문헌 35 kor The Graduate School, Ajou University 아주대학교 논문은 저작권에 의해 보호받습니다. 학습관성을 활용한 신경망 연결가중치 제거 방법 Thesis 아주대학교 일반대학원 일반대학원 산업공학과 2020. 2 Master I804:41038-000000029490 http://dcoll.ajou.ac.kr:9080/dcollection/common/orgView/000000029490 regularization 인공신경망