TheoremExplainAgent: Towards Multimodal Explanations for LLM Theorem Understanding

TheoremExplainAgent: AI 기반 다중 모달 정리 설명 시스템

개요
TheoremExplainAgent는 AI를 활용하여 수학, 물리, 화학, 컴퓨터 과학 등의 다양한 STEM 분야에서 정리를 설명하는 장문의 애니메이션 동영상을 자동 생성하는 시스템입니다. 기존의 대형 언어 모델(LLM)은 텍스트 기반의 정리 이해 및 설명에 강점을 보였으나, 시각적으로 직관적인 설명을 제공하는 데 한계가 있었습니다. 본 연구에서는 AI가 정리 설명을 보다 효과적으로 수행할 수 있도록 다중 모달(텍스트+시각적 요소) 접근 방식을 적용하였습니다.

 

1. 연구 배경 및 필요성

• 기존 LLM은 텍스트 기반 정리 설명에는 강하지만, 시각적인 직관성을 확보하기 어려움.
• 수학, 물리학 등의 학문에서는 도형, 그래프, 시뮬레이션 등의 시각적 요소가 필수적임.
• 효과적인 정리 설명을 위해서는 다중 모달(멀티모달) 접근 방식이 필요함.

 

 

2. TheoremExplainAgent 시스템 개요

• 입력: 특정 정리 및 관련 설명(텍스트)
• 출력: 해당 정리를 설명하는 5분 이상의 애니메이션 동영상
• 구성 요소:
  • Planner Agent: 정리의 설명 구조를 생성하는 AI
  • Code Agent: Python Manim 라이브러리를 사용하여 애니메이션 코드 생성
  • 평가 시스템: 생성된 설명의 정확성 및 시각적 요소를 평가하는 자동 평가 지표

 

3. TheoremExplainBench: 평가 벤치마크

• 240개의 정리를 포함한 평가 데이터셋 구성
• 평가 지표: 정확성(Accuracy), 시각적 적합성(Visual Relevance), 논리적 흐름(Logical Flow), 요소 배치(Element Layout), 시각적 일관성(Visual Consistency)
• 인간 전문가와 AI 평가 비교 수행

 

 

 

4. 연구 결과 및 한계점

• AI가 생성한 설명 영상의 평균 길이는 최대 10분까지 가능
• AI 기반 시스템이 텍스트 기반 평가보다 더 깊은 오류를 드러내는 데 효과적
• 여전히 시각적 배치 오류(요소 겹침, 크기 불일치) 등의 한계가 존재함

5. 향후 연구 방향

• 애니메이션 구성의 안정성 및 정확성 향상
• AI가 더욱 자연스러운 학습 자료를 제공하도록 개선
• 다양한 학문 분야에서 활용할 수 있도록 범용성 확대

본 연구는 AI가 다중 모달 방식으로 정리를 설명하는 새로운 방안을 제시하며, 학습자들이 보다 쉽게 정리를 이해할 수 있도록 돕는 데 목적이 있습니다.