토양 데이터 활용 강화학습 기반 굴착 궤적 생성 알고리즘

Abstract

본 연구는 동적 토양 조건 데이터를 고려한 강화학습(reinforcement learning, RL) 기반 굴착기 궤적 제어 알고리즘을 제안한다. 자율 굴착 시스템의 설계에서 주요 도전 과제는 토양 상태의 동적 변화를 정확히 반영하면서도 심층 강화학습(deep reinforcement learning, DRL) 알고리즘의 안정적인 학습 수렴을 달성하는 것이다. 이를 해결하기 위해, 본 연구에서는 fundamental equation of earthmoving(FEE)을 기반으로 토양-장비 간 상호작용을 모델링하고, 다양한 토양 조건에서의 자율 굴착 작업을 수행할 수 있도록 무작위로 생성된 토양 매개변수를 활용하여 RL 기반 궤적 제어 알고리즘을 학습시켰다. 성능 평가 결과, 제안된 알고리즘은 다양한 토양 조건에 효과적으로 적응하는 능력을 보였으며, 이는 실제 굴착 작업에서 토양의 특성을 반영한 최적화된 작업 계획 수립에 기여할 수 있음을 입증하였다.