박범 김영규 2021-02 30692 https://aurora.ajou.ac.kr/handle/2018.oak/20086 학위논문(석사)--아주대학교 공학대학원 :산업시스템공학과,2021. 2 본 논문은 검사 공정 작업자 이미지 반복 처리 작업을 자동화 시스템으로 대체하고자 하는 연구를 진행하였다. 검사 장비의 자동화에 따른 작업 스피드가 향상되었지만, 그 이면에 자동화 적용이 어려워 작업자가 직접 해야 하는 이미지 반복 확인 작업의 과제가 남아 있다. 이를 해결하기 위해 딥러닝을 활용한 이미지 분류 자동화 시스템을 개발하는 것이 본고의 목적이다. 검사 공정 작업자 이미지 반복 작업의 문제점은 단순 반복 행위로 인한 작업자의 건강상 역기능, 즉 시력 저하와 손목 통증이 대표적이다. 또한 작업자의 개인적인 판단과 오류로 인한 품질적인 측면인 재현성과 반복성도 문제점 중 하나이다. 뿐만 아니라 검사기에 이미지가 증가되면 작업자의 업무 부하로 인한 실시간 처리도 지연된다. 작업자의 이미지 확인 작업의 주요 이유는 이물성 불량을 양품으로 전환하여 수율을 향상시키는 것과 불량의 세부 Trend를 파악하고자 하기 위함이다. 이런 문제들을 해소하고자 딥러닝에서 CNN(Convolution Neural Network) 합성곱 신경망을 활용하여 이미지의 특징을 추출하고 학습을 진행 후 파라미터를 컴퓨터 신경망이 기억하였다가 분류 이미지가 들어오면 기억된 신경망이 이미지를 14가지 유형으로 자동 분류 예측하는 시스템을 개발하였다. 이미지 분류에는 전처리 과정과 이미지 분류 그리고 후처리 과정을 거치게 된다. 개발된 자동화 시스템에 평가 검증의 비교 대상은 작업자의 결과물과 비교하게 된다. 평가품을 선정 후 작업자가 선 작업을 하고 이 후 원본 이미지를 자동화 시스템이 분류하여 작업자 대비 자동화 시스템의 성능인 정합도를 비교하여 취합하였다. 이런 과정을 반복하면서 Confusion Matrix 오차 행렬을 이용하여 세부적 분석을 통해 정합도 이상 유형을 찾고 추가적인 학습에 파라미터를 수정하여 최적화에 점점 다가가게 된다. 14가지 항목의 이미지 15,000개를 학습시킨 후 1일 1,900,000개의 이미지를 분류하는 자동화 시스템의 정합도는 작업자 대비 93.26%의 정합도를 확인하였고 유형별 정합도의 최대 100%에서 최소 80.87%의 유형별 정합도를 확인하였다. 치명적 오류 681 ppm 그리고 치명적이지 않은 오류 6.7%에 성능을 확인하였다. 작업자 대비 이미지 처리 속도는 약 10배 이상의 개선 효과를 확인하였으며 이로 인하여 작업자의 건강상의 역기능 부담을 감소시켰고 작업자의 이미지 분류 확인 작업의 일관성을 시스템화하였다. 또한 이미지 처리 속도 향상으로 실시간 처리에 좀 더 가까워졌다. 현재 자동화 시스템의 정합도 93.26%에 유형별 정합도 100% 가까운 유형의 항목은 자동화 시스템의 이미지 분류 후 후처리 과정에서 분류 결과를 확인하여 강제로 작업자에게 전송시키지 않는 상태이며 이로 인한 작업자는 기존 대비 약 80%의 업무 과중을 줄일 수 있다. 업무에 과중을 최소화 함으로써 작업자 인력 소인화에 도달하였다. 추가적으로 향후 분리 되어 있는 검사기와 자동화 시스템을 검사기 장비 내에 결합하여 불필요한 전송 및 Loss를 최소화 하여 실시간 처리 및 인력 무인화에 도움이 될 것이라 기대된다. 또한 GPU를 추가적으로 멀티로 사용하여 자동화 시스템의 처리 속도 또한 현재보다 더 향상될 것으로 기대된다. 제1장 서론 1 제1절 연구의 배경 및 목적 1 제2절 연구의 구성 6 제2장 이론적 고찰 8 제1절 딥러닝 관련 연구 8 제2절 딥러닝의 활용 사례 10 제3절 CNN(Convolution Neural Network) 합성곱 신경망 12 제4절 ResNet 17 제5절 지도 학습(Supervised Learning) 22 제6절 선행 연구 23 1. ResNet 구조 선정 23 2. 이미지 처리 시간 분석 25 3. CNN을 활용한 이미지 분류 국내 적용 사례 27 4. CNN을 활용한 이미지 분류 국외 적용 사례 30 5. 제안하는 자동화 시스템 구성도 32 제3장 이미지 학습 Data Set 33 제1절 자동화 시스템 환경 하드웨어 구성 33 제2절 이미지 전처리 과정 35 제3절 이미지 분류 블록도 38 제4절 학습 정확도와 손실값 39 제5절 이미지 후처리 과정 41 제6절 제안하는 자동화 시스템 분류도 42 1. 자동화 시스템의 이미지 분류도 42 제4장 학습 Data Set을 이용한 이미지 분류 평가 45 제1절 작업자 이미지 분류 결과와 학습 Data 증가량 비교 45 제2절 양산 검증 54 1. 오차 행렬 (Confusion Matrix) 54 2. 양산 검증 결과 55 제5장 결론 및 요약 57 제1절 결론 및 요약 57 1. 작업자와 비교한 정합도 평가(2019년 1월 1일~2019년 8월 31일) 57 2. 요약 58 제2절 향후 연구 방안 59 제6장 참고 문헌 61 kor The Graduate School, Ajou University 아주대학교 논문은 저작권에 의해 보호받습니다. 검사 공정 작업자 이미지 반복 처리 작업의 자동화 구현 Thesis 아주대학교 공학대학원 공학대학원 산업시스템공학과 2021. 2 Master I804:41038-000000030692 http://dcoll.ajou.ac.kr:9080/dcollection/common/orgView/000000030692 CNN ResNet VDT증후군 딥러닝 합성곱신경망