이경원 박찬희 2022-02 31721 https://aurora.ajou.ac.kr/handle/2018.oak/21228 학위논문(석사)--아주대학교 일반대학원 :라이프미디어협동과정,2022. 2 해석가능한 머신러닝(interpretable machine learning)은 머신러닝 시스템의 행동과 예측을 사람이 이해할 수 있도록 돕는 기술을 말한다. 머신러닝 해석 분야에서 입력 데이터와 모델 결정 사이의 관계를 잘 설명할 수 있을 때, 과학적 이해, 안정성 파악, 신뢰 확보와 같은 이점을 얻을 수 있다. 머신러닝이 적용되는 분야가 다양해지고, 모델 해석에 대한 요구가 늘어나면서 머신러닝 모델 해석의 주체가 머신러닝 전문가에서 다양한 계층으로 확대되고 있다. 이에 따라, 모델 해석을 위해 데이터를 효과적으로 분석할 수 있는 도구 개발의 필요성이 높아졌다. 대화형 그래픽 방식을 사용하는 시각적 분석 기법은 비전문가를 비롯한 다양한 계층의 사용자가 쉽게 데이터를 분석하도록 돕는다. 따라서, 시각적 분석 기법의 도입은 머신러닝 해석 작업에서 큰 잠재력을 가지고 있다. 본 연구는 사용자가 쉽고 명확하게 머신러닝 모델을 해석할 수 있도록 지원하기 위하여 머신러닝 모델이 입력 데이터로부터 출력 결과를 어떻게 연결 짓는지에 대한 관계성을 해석하는 시각 분석 시스템을 제안한다. 기존 머신러닝 해석 연구의 한계를 극복하기 위하여 두 가지 기법이 도입되었다. 첫째, 데이터 셋의 입력 데이터 값을 합리적인 범위 내에서 변화시키고 이에 따른 모델 예측 결과 변화 추이를 추적했다. 둘째, 분석 시스템의 사용성을 높이기 위하여 유저 인터페이스에 평행 좌표 그래프 및 산점도와 같은 데이터 시각화 기법과 함께 필터, 그룹, 정렬 등의 인터랙션을 도입했다. 본 연구가 제안한 시각 분석 시스템은 머신러닝 수행 결과를 입력 변수, 목표 변수, 예측 값에 따라 필터링하고 그룹 지어 해석할 수 있는 반복적인 조정 절차를 통해 효과적으로 머신러닝 모델을 해석할 수 있는 접근 방식을 취한다. 이 시스템은 사용자가 이 분석 시스템을 사용하여 머신러닝 모델의 복잡한 동작에 대한 통찰을 얻고, 입력 변수와 목표 변수 및 모델 예측에 대한 과학적 이해를 확보하고, 모델의 안정성과 신뢰성을 파악하는데 도움을 제공한다. 유스 케이스 분석을 통해 제안된 시스템이 머신러닝 모델 해석에 도움을 줄 수 있는지 설명했다. 나아가 사용자 심층 인터뷰를 통해 제안된 시각화 및 인터랙션 기법의 제공 여부가 시스템 사용성 및 모델 해석 용이성에 미치는 영향을 평가했다. 본 연구에서 제시된 시각 분석 시스템을 통해 머신러닝 모델 해석 현장에서 발생하는 문제를 보다 쉽고 빠르게 분석할 수 있었을 뿐만 아니라 이들 문제에 대한 고도의 인사이트를 도출할 수 있음을 확인했다. 제 1 장 서론 1 제 2 장 문헌 고찰 4 제 1 절 머신러닝 해석 방식의 분류 4 제 2 절 입력 변수 값 변형을 활용한 모델 해석 12 제 3 장 연구의 목적과 방법 17 제 4 장 시각 분석 시스템 설계 및 개발 21 제 1 절 평행 좌표 그래프 및 산점도 22 제 2 절 인스턴스 변형과 테이블 시각화 25 제 3 절 개별 인스턴스 확인 28 제5장 유스 케이스 분석 29 제 1 절 유스 케이스 지침 설계 29 제 2 절 유스 케이스 분석 수행 31 제6장 사용자 심층 인터뷰 37 제 1 절 사용자 심층 인터뷰 설계 37 제 2 절 사용자 심층 인터뷰 수행 및 결과 41 제 7 장 결론 45 참고문헌 47 kor The Graduate School, Ajou University 아주대학교 논문은 저작권에 의해 보호받습니다. 머신러닝 모델 해석 시스템 Analytics System for Machine Learning Model: Focusing on Visual Analysis Methods to Explore the Effect of Changes in Input Variables on Model Prediction Thesis 아주대학교 일반대학원 Chanhee Park 일반대학원 라이프미디어협동과정 2022. 2 Master I804:41038-000000031721 https://dcoll.ajou.ac.kr/dcollection/common/orgView/000000031721 데이터 시각 분석 데이터 시각화 머신러닝 모델 분석 시각 분석 시스템 해석가능한 머신러닝 Interpretable machine learning supports people to understand the behavior of machine learning systems. When the relationship between input data and model decisions can be well explained, advantages such as scientific understanding, stability identification, and confidence can be obtained. As the fields to which machine learning is applied to become more diverse and the demand for model interpretation increases, the subject of machine learning model interpretation is expanding from machine learning experts to non-experts. Accordingly, the need to develop a tool capable of effectively analyzing data for model analysis has increased. Visual analytics using interactive graphics assists users including both experts and non- experts easily analyzing the dataset. Therefore, the introduction of visual analytics has great potential in machine learning interpretation. This study suggests a visual analytics system that interprets the relationship between input data and output results from the machine learning model to users easily interpret the machine learning model. This study introduced two techniques to overcome the limitations of existing machine learning analysis research. First, the input data value of the dataset was changed within a reasonable range, and the trend of change in the model prediction result was tracked accordingly. Second, to increase the usability of the analysis system, data visualization techniques such as parallel coordinates and scatter plots and interactions such as filtering, grouping, and sorting were introduced into the user interface. The visual analytics system proposed by this study takes an approach to effectively interpret machine learning models through repetitive interactive procedures that can filter machine learning results according to input variables, target variables, and predictive values. Using this system, users find insight into the complex behavior of the machine learning model and scientific understanding of input variables, target variables, and model predictions. It also assists users to understand the stability and reliability of the machine learning model. It also assists users to understand the stability and reliability of the machine learning model. Use-case analysis explained whether the proposed system could help achieve the goal for model analysis. Furthermore, through in-depth user interviews, the effect of providing proposed visualization and interaction techniques on system usability and model interpretation ease was evaluated. Through use case analysis and in-depth user interviews, it was confirmed that tasks occurring in the interpretable machine learning field could be performed more easily and quickly, and high-level insights could be derived by the visual analytics system suggested by this research. 입력 변수 변화가 모델 예측에 미치는 영향을 탐색하는 시각적 분석 방법을 중심으로