엘리스그룹, 자연어처리 분야 최고 권위 있는 국제 학회 ACL 2025에서 교육 AI 논문 2편 발표

엘리스그룹, 자연어처리 분야 최고 권위 있는 국제 학회 ACL 2025에서 교육 AI 논문 2편 발표

ㅣ학습 수준 예측 딥러닝 모델 · 변별력 높은 객관식 문항 생성 LLM 기술 채택

▲엘리스그룹 AI 엔지니어 이유섭, 김도윤님(왼쪽부터)

엘리스그룹 AI팀의 연구 논문 2편이 세계 최고 권위의 자연어처리 학회 ACL 2025 (The Association for Computational Linguistics) 메인 컨퍼런스에 채택되었습니다.
ACL은 Google, OpenAI, DeepMind 등 글로벌 선도 기업과 연구기관이 참여하는 학회로, 매년 전 세계에서 가장 영향력 있는 자연어처리 연구 성과가 발표되는 자리입니다.
이번 성과는 엘리스그룹의 AI 연구가 학술적 가치뿐만 아니라 실제 교육 현장에 적용 가능한 가능성을 국제적으로 검증받았다는 점에서 의미가 큽니다.

ACL 2025 채택 논문 1ㅣ학생의 질문을 통합한 지식 추적 모델

▲논문 저자 엘리스그룹 AI 엔지니어 김도윤님이 학회에서 발표하는 모습

• 논문 제목 : Knowledge Tracing in Programming Education Integrating Students’ Questions
• 저자 : Doyoun Kim, Suin Kim, Yohan Jo (논문 전문보기)

기존의 지식 추적(Knowledge Tracing, KT) 모델은 학생이 문제를 풀고 맞혔는지 틀렸는지 기록을 기반으로 다음 문제의 정답 가능성을 예측했습니다. 그러나 학습자가 학습 중 남긴 질문은 모델 입력에 활용되지 않아, 이해 상태를 충분히 반영하지 못하는 한계가 있었습니다.

이를 보완하기 위해 엘리스그룹의 김도윤 AI 엔지니어는 Student Question-enhanced Knowledge Tracing(SQKT) 모델을 제안했습니다. 이 모델에서는 학생이 작성한 질문을 딥러닝 모델의 입력으로 직접 활용합니다. 동시에 질문 문장을 자연어 처리로 분석해 그 안에 포함된 학습 개념을 태깅하는 개념 추출기(skill extractor)를 거쳐 추가 신호로 반영합니다. 이렇게 얻은 질문 기반 정보와 문제 풀이 기록을 함께 입력하면, 모델은 학생이 앞으로 풀 문제를 맞힐지 틀릴지를 더 정밀하게 예측할 수 있습니다.

실험 결과, SQKT 모델은 기존 KT 모델 대비 예측 성능(AUC 지표)이 최대 33.1%까지 향상되며 안정적인 결과를 보였습니다.

▲SQKT 모델의 입력 구조 예시. 문제(A), 학생 질문(B), 필요 개념(C)을 통합해 정답을 예측합니다.


이 연구는 단순히 정답 여부 기록만 보던 기존 방식에서 벗어나 학습자의 실제 질문과 그 속에 담긴 개념까지 반영해 이해도를 정밀하게 추적할 수 있음을 보여줍니다.

ACL 2025 채택 논문 2ㅣ학생 선택 데이터를 반영한 ‘그럴듯한 객관식 문항 오답 생성’ 연구

▲ACL 현장의 본인 논문을 살펴보고 있는 엘리스그룹 AI 엔지니어 이유섭님

• 논문 제목 : Generating Plausible Distractors for Multiple-Choice Questions via Student Choice Prediction
• 저자 : Yooseop Lee, Suin Kim, Yohan Jo (논문 전문보기)

객관식 문항에서 오답 선택지는 학습자의 사고 과정을 자극하고 개념을 얼마나 이해했는지 검증하는 핵심 요소 중 하나입니다. 그러나 기존의 자동 객관식 문항 생성 방식은 오답이 지나치게 단순하거나 정답과 무관해 학습 효과를 떨어뜨리는 경우가 많았습니다. 이에 엘리스그룹 이유섭 AI 엔지니어는 학생들이 실제로 선택했던 오답 데이터를 활용해, 헷갈릴 가능성이 높은 그럴듯한 오답(plausible distractor)을 자동으로 생성하는 방법을 제안했습니다.

먼저 학습자의 과거 선택 데이터를 분석해 어떤 오답이 더 자주 선택될지 예측하는 Pairwise Ranker를 학습합니다. 여기서 Pairwise Ranker란 두 개의 오답 후보가 주어졌을 때 어느 쪽이 학생들에게 더 선택될 가능성이 높은지를 판단하는 모델입니다. 이 Ranker를 통해 ‘오답 선호도 데이터셋’을 만들고, 이를 토대로 DPO(Direct Preference Optimization)라는 최신 기법을 적용합니다. DPO는 기존처럼 보상 모델을 따로 학습할 필요 없이 “A가 B보다 더 선호된다”라는 비교 데이터를 사용해 LLM을 직접 조정할 수 있는 방법입니다. 이를 통해 모델이 단순히 틀린 답을 만드는 것이 아니라, 정답처럼 보이면서도 학습자의 개념적 약점을 드러낼 수 있는 고품질 오답을 생성할 수 있게 되었습니다.

결과적으로 이 방법으로 생성된 오답은 기존 방식보다 문항 변별도(Item Discrimination Index)가 향상되었으며, 파이썬, 데이터베이스(DB), 머신러닝/딥러닝(MLDL) 과목의 실제 학생 데이터로 검증했을 때 사람이 직접 만든 수준의 오답 품질을 달성했습니다.

▲ 학생 선택 예측을 기반으로 한 오답 생성 파이프라인. Pairwise Ranker로 학습자의 선택 경향을 학습한 뒤, LLM이 생성한 오답 후보를 재정렬하고 Direct Preference Optimization(DPO)으로 품질을 개선하는 구조

ACL 2025 채택 연구, 엘리스LXP에서 사용 가능

엘리스그룹은 이번 ACL 2025 채택 연구 성과를 실제 서비스에 빠르게 반영하고 있습니다. 특히 두 번째 논문에서 제안한 학습자의 선택 데이터를 기반으로 변별력 높은 객관식 문항을 자동 생성하는 기술은 AI기반 교육 실습 플랫폼 엘리스LXP 퀴즈 생성기와 자체 개발 LLM 엘리스AI 헬피 챗에 적용되어 있으며, 지속적인 고도화를 진행 중입니다. 이러한 기술을 활용한다면 기업 교육, 각종 시험, 공교육 현장 등에서 학생 개개인의 사고 과정을 자극하는 객관식 문항을 보다 쉽게 설계할 수 있습니다.

▲ACL 2025에 채택된 AI 퀴즈 알고리즘이 엘리스 서비스에 적용된 사례
(왼쪽부터) 1. 엘리스LXP 퀴즈 생성 화면 2. 엘리스LXP 퀴즈 생성 예시 3. 엘리스 AI헬피 챗 퀴즈 생성기 예시


ACL 2025에서 검증된 AI 교육 기술을 사용해보고 싶다면, 엘리스LXP와 AI헬피 챗을 이용해보세요.

👉🏻 엘리스 AI 교육 기술 도입 문의하기