학술지
학술지
지능정보융합과 미래교육
- HOME
- 학술지
- 지능정보융합과 미래교육
[제4권 제9호] 소크라테스식 질문 생성을 위한 온디바이스 LLM 파인튜닝 및 성능 평가
- 작성일
- 2025-06-13
- 작성자
- 운영자
- 조회
- 36
|
소크라테스식 질문 생성을 위한 온디바이스 LLM 파인튜닝 및 성능 평가 Fine-Tuning On-Device LLMs for Socratic Question Generation and Performance Evaluation 이영호 Youngho Lee 요 약 본 연구는 생성형 인공지능의 교육적 활용 가능성을 모색하기 위해, 소크라테스식 문답법 기반의 질의응답 데이터셋(SocratiQ)의 한국어 번역본을 활용하여 경량 온디바이스 대형언어모델(LLM) 두 종류(Gemma 1B, LLaMA 1B)에 대해 LoRA 방식의 파인튜닝을 수행하고 그 성능을 비교하였다. 실험 결과, 두 모델 모두 BERTScore 기준 약 0.75 수준의 의미 유사도를 달성하였으며, Gemma 1B는 질문 표현의 정교성과 일관성 측면에서 우수한 성과를 보였다. 반면 LLaMA 1B는 평균 1초 미만의 추론 시간을 기록하여 실시간 응답에 더 적합한 효율성을 나타냈다. 또한 일부 사례 분석을 통해 두 모델이 문맥에 따른 다양한 소크라테스식 질문 유형을 생성할 수 있음을 확인하였다. 본 연구는 온디바이스 환경에서도 교육용 LLM이 실질적 질문 생성 도구로 활용될 수 있음을 실증적으로 제시하며, 향후 경량 AI 기반의 자기주도 학습 지원 시스템 설계에 유의미한 기초 자료를 제공한다. 주제어: 소크라테스식 질문, 온디바이스 LLM, 경량 언어모델, 생성형 인공지능, 질문 생성, 대형 언어 모델 파인튜닝 ABSTRACT This study investigates the educational applicability of on-device lightweight large language models (LLMs) through fine-tuning with a Korean-translated version of the SocratiQ dataset, which is built upon the Socratic method of questioning. Two compact models, Gemma 1B and LLaMA 1B, were fine-tuned using the LoRA approach, and their performances were evaluated. Both models achieved a BERTScore F1 of approximately 0.75, indicating high semantic similarity with reference questions. Gemma 1B demonstrated slightly higher linguistic consistency and clarity, while LLaMA 1B showed superior inference efficiency, with an average response time of under one second. Sample analysis also revealed that both models were capable of generating diverse types of Socratic questions in contextually appropriate ways. The results suggest that fine-tuned lightweight LLMs can serve as viable educational tools for AI-assisted questioning, even in resource-constrained or privacy-sensitive environments. This work offers foundational evidence for integrating on-device AI in self-directed learning and classroom support systems. Keywords: Socratic Questioning, On-device LLM, Lightweight Language Models, Generative AI, Question Generation, LLM Fine-tuning |