학습 효과를 극대화하는 AI 퀴즈 생성 – 서울대 연구팀과의 공동 연구
Elice
2025. 2. 20.
프로젝트 주요 내용
✅ 서울대학교 연구팀과 공동 연구한 AI 기반 퀴즈 생성 모델 – 학습 효과를 극대화하는 고품질 자동 퀴즈 생성
✅ Pairwise Ranker 및 DPO 기법 적용 – 학생들의 이해도를 높이고, 정교한 오답(함정) 생성 가능
✅ AI 기반 맞춤형 학습 지원 – 개념 학습을 강화하고 사고력을 확장하는 퀴즈 출제
학생들이 효과적으로 학습하기 위해서는 퀴즈 자체의 품질이 높아야 하며, 문제 해결 과정에서 충분한 사고를 유도할 수 있어야 합니다. 그러나 기존의 자동 퀴즈 생성 시스템들은 기존 문제를 변형하는 수준에 그쳐, 학습 효과를 극대화하는 데 한계가 있었습니다.
이에 서울대학교 조요한 교수 연구실과의 공동 연구(Co-work)를 통해, AI를 활용한 새로운 퀴즈 생성 모델을 개발하였습니다. 본 프로젝트는 단순한 문제 변형을 넘어, 학생들이 실제로 헷갈릴 만한 정교한 오답(함정)을 생성하여 퀴즈의 난이도를 최적화하는 것을 목표로 하였습니다.
프로젝트 개요
본 프로젝트는 오픈 소스 LLM(Large Language Model)을 기반으로 퀴즈를 생성하고, 생성된 문제의 질을 높이는 것을 핵심 목표로 설정하였습니다. 프로젝트는 크게 두 가지 단계로 구성되었습니다.
✅ 퀴즈 자동 생성 시스템 구현
- 오픈 소스 LLM을 활용하여 주어진 개념과 난이도를 바탕으로 문제 및 보기 자동 생성
- 학생들이 학습 내용을 효과적으로 이해할 수 있도록 퀴즈의 정확성과 난이도 조정
✅ 오답(함정) 품질 개선 및 난이도 조정
- 단순한 정·오답 출제에서 벗어나, 학생들이 실제로 헷갈릴 만한 ‘그럴듯한 오답(함정)’을 자동 생성
- Pairwise Ranker 및 Direct Preference Optimization(DPO) 기법을 활용하여 오답의 질을 정량적으로 평가하고 최적화
이 과정에서 퀴즈 생성 방법론을 연구하고 실험한 결과, AI 기반 퀴즈 생성 모델이 학생들의 개념 학습에 긍정적인 영향을 미친다는 연구 논문도 작성되었습니다. 특히, 학생들이 특정 오답을 얼마나 선택하는지를 데이터화하여, 오답이 지닌 ‘그럴듯함’을 수치화하는 방법을 적용하였습니다.
핵심 기술 및 방법론
1. Pairwise Ranker를 활용한 오답(함정) 평가
✅ 학생들이 실제로 헷갈릴 가능성이 높은 오답을 선별
✅ 문제와의 관련성 및 자연스러움을 종합적으로 분석하여 점수화
Pairwise Ranker는 두 개의 오답 중 어느 쪽이 학생들에게 더 혼동을 줄 가능성이 높은지를 예측하고 점수화하는 AI 모델입니다. 이를 통해, 가장 ‘그럴듯한 오답’을 선별하여 퀴즈의 난이도를 정교하게 조정할 수 있습니다.
2. DPO(Direct Preference Optimization) 기반 오답 생성
✅ 학생들이 쉽게 정답을 유추하지 못하도록 정교한 오답(함정) 생성
✅ 정확성뿐만 아니라 학습 효과까지 고려한 최적의 정·오답 조합 제공
기존의 RLHF(Reinforcement Learning from Human Feedback) 방식은 코드 품질 균형을 맞추는 데 한계가 있었습니다. DPO는 AI가 인간이 선호하는 형태의 정·오답을 생성하도록 확률 분포를 조정하는 기법으로, 본 프로젝트에서는 학생들의 학습 효과를 극대화할 수 있는 오답을 생성하는 데 활용되었습니다.
특히, Python, DB, MLDL(머신러닝 & 딥러닝) 등 다양한 컴퓨터 과학 분야 과목을 중심으로 모델을 훈련하여, 과목별 특성에 맞춘 정교한 퀴즈 출제가 가능하도록 설계하였습니다.
프로젝트 결과 및 성과
본 프로젝트를 통해 개발된 AI 기반 퀴즈 자동 생성 모델은 기존 퀴즈 시스템보다 학습 효과가 뛰어난 결과를 도출하였습니다.
✅ 학생들이 문제를 해결하는 과정에서 더 깊이 사고하도록 유도하는 퀴즈 출제 가능
✅ AI가 ‘그럴듯한 오답’을 생성하여, 난이도 조절이 정교하게 이루어짐
✅ 교육학적 연구를 바탕으로 퀴즈의 품질을 정량적으로 평가하고 개선
이를 통해 AI가 단순한 문제 변형이 아닌, 학습 효과를 극대화하는 방향으로 퀴즈를 출제할 수 있는 가능성을 확인하였습니다.
결론 및 향후 전망
본 프로젝트는 AI를 활용하여 교육 효과를 높이는 방향으로 퀴즈 생성 모델을 혁신한 사례입니다.
- 학생들이 문제를 푸는 과정에서 적극적으로 사고하고 개념을 확장할 수 있도록 설계
- Pairwise Ranker와 DPO 기법을 적용하여 ‘그럴듯한 오답(함정)’을 생성하는 AI 모델 개발
- 서울대학교 연구팀과의 공동 연구를 통해 학습 데이터 기반 정량적 평가 체계 구축
향후 엘리스-서울대학교 프로젝트 팀은 추가적인 피드백 데이터를 축적하여 모델을 지속적으로 개선하고, 자연과학 및 인문학 과목 등 다양한 교육 분야로 확장하는 연구를 진행할 계획입니다. 이를 통해 AI가 학습자의 사고력을 확장하고 학습 동기를 높이는 방향으로 발전할 수 있도록 지속적인 연구 개발을 이어갈 예정입니다.