굴착 자동화를 위한 강화학습 기반 지역 작업 계획 알고리즘

Abstract

굴착 작업은 다양한 분야에서 필수적인 역할을 하며, 그 효율성과 안정성을 보장하는 것이 매우 중요하다. 본 논문에서는 평탄화 작업을 위한 Proximal Policy Optimization(PPO) 기반의 지역 작업 계획 알고리즘을 제안한다. 이 알고리즘은 강화학습을 활용하여, 실제 굴착기의 제원을 기반으로 설정된 작업 범위 내에서 그리드맵을 생성하고 학습을 진행한다. 굴착기는 에이전트로서 그리드맵의 지형 정보를 입력받아 각 작업이 필요한 영역과 굴착량을 결정하는 것을 목표로 한다. 평탄화 작업은 디깅(Digging), 덤핑(Dumping) 작업으로 구성되며, 각각의 작업에 대해 독립적인 모델을 학습시킨 후, 디깅 작업과 덤핑 작업을 순차적으로 수행하도록 설계하였다. 실험 결과 각 모델이 목표 높이에 도달하기 위해 작업을 반복하여 평탄화 작업을 성공적으로 수행하는 것을 확인할 수 있다. 본 알고리즘은 작업 효율성을 극대화하고 평탄화 작업 중 발생할 수 있는 오류를 최소화하며, 다양한 작업 환경에 적용 가능할 것으로 기대된다.