Ajou University repository

메타데이터 기반 RAG를 활용한 생성형 AI의 학습 성과 평가와 효율성 검증
Citations

SCOPUS

0

Citation Export

Publication Year
2024-11
Journal
한국전자거래학회지
Publisher
한국전자거래학회
Citation
한국전자거래학회지, Vol.29 No.4, pp.11-30
Keyword
Generative AILLM(Large Language Model)RAG(Retrieval Augmented Generation)Evaluation of Learning Outcomes생성형 인공지능대규모 언어 모델검색 증강 생성학습 성과 평가
Abstract
오늘날 생성형 AI의 성능이 발전하면서 이를 다양한 분야에 활용하려는 움직임이 활발하다. 특히 교육 및 학습 분야에서 생성형 AI를 적용하려는 연구가 많이 진행되고 있다. 그러나 생성형 AI의 답변에는 사용자에게 부정확한 정보를 전달하는 환각 현상이 종종 발견되는 한계가 있다. 이러한 문제를 완화하기 위해 생성형 AI에 RAG를 적용하는 방안이 있으나, 제공하는 데이터의 규모가 방대할 경우 RAG 성능이 저하되어 적절한 답변이 생성되지 못하는 문제가 여전히 발생한다. 본 연구는 학생들이 시험 범위의 주요 내용과 예상 문제 및 답을 정리하고, 서로 퀴즈를 내면서 시험 대비 수준을 확인하는 행위에 착안하여, 학습자가 예상한 답변과 생성된 답변을 비교하는 생성형 AI와의 상호작용을 통해 학습 수준을 점검하는 학습 방안을 제시한다. 해당 학습 방법에서 생성형 AI의 능력을 검증하기 위해 지문-질문-답변-답변 근거의 구조로 대량 구성된 JSON 파일 데이터를 실험 데이터로 선정하였으며, 각 지문의 출처 문서 정보를 메타데이터로 첨부하여 벡터 데이터베이스에 저장하였다. 벡터 데이터베이스의 내용에 관하여 생성형 AI와 질의응답 실험을 진행하고, MRR과 F1 스코어 평가 지표로 결과를 평가하였다. 본 연구에서는 생성형 AI가 벡터 데이터베이스 내에서 질문 관련 내용을 검색할 때 메타데이터 정보를 활용하도록 하였다. 또한, 생성형 AI가 답변을 생성하기 위해 참고한 벡터 데이터베이스 내용을 답변과 함께 출력하여 답변의 정확성과 생성형 AI의 검색 능력을 동시에 평가하였다. 결과적으로 메타데이터 정보를 활용한 RAG를 통해 생성형 AI의 답변 정확도와 검색 능력이 향상되는 실험 결과를 얻을 수 있었다.
ISSN
2288-3908
Language
Kor
URI
https://aurora.ajou.ac.kr/handle/2018.oak/36097
Type
Article
Show full item record

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

Related Researcher

Kang, Ju Young Image
Kang, Ju Young강주영
Department of Business Intelligence
Read More

Total Views & Downloads

File Download

  • There are no files associated with this item.