GPU 플랫폼상 Pruned Large Language Model (LLM) 성능 분석

Abstract

최근, 자연어 처리 분야에서 대량의 데이터를 기반으로 학습된 Large Language Model (LLM)이 등장하였다. LLM은 많은 양의 텍스트 데이터로부터 패턴을 학습하여 다양한 언어 작업에서 뛰어난 성능을 보이는 모델로, GPT-3와 같은 모델들이 이에 속한다. 이러한 LLM의 활용 가능성과 수요는 계속해서 증가하고 있다. LLM은 방대한 모델 파라미터와 연산량으로 인해 주로 클라우드 환경에서 처리되며, 사용자에게는 결과만 전달된다. 클라우드의 보안 강화와 일관된 서비스 접근성을 위해 엣지 단말에서의 실행이 요구되지만, 모델의 크기로 인한 제약이 존재한다. 본 학위 논문에서는 프루닝 (Pruning) 기법을 이용하여 LLM의 경량화 방법을 제안한다. 이는 모든 레이어를 동일한 기준으로 프루닝 하는 것이 아닌 각 레이어, 연산마다 최적의 프루닝 비율을 도출함으로써 성능유지 및 모델 경량화 방법을 제안한다. 이와 더불어, 희소 행렬 연산을 사용하여 프루닝이 진행된 LLM의 성능 측정 및 분석을 진행했으며, 이를 바탕으로 단말에서의 LLM 경량화 방향과 희소 행렬 연산의 최적화 방향성을 제시한다.