맞춤 교육 위한 스마트한 AI 진단테스트

웅진씽크빅 매쓰피드 진단테스트 알고리즘 연구 과정

by 에듀테크연구소 개인화학습기술팀 김혜진 연구원

안녕하세요, 저는 웅진씽크빅 에듀테크연구소 개인화학습기술팀의 김혜진 연구원입니다. 저는 웅진씽크빅 에듀테크연구소 개인화학습기술팀에서 인공지능(artificial intelligence, AI)을 연구하고 있습니다. 이번 회차에서는 똑똑한 매쓰피드 서비스 알고리즘에 대해 소개합니다. 우리 연구소에서 개발한 AI 알고리즘은 소규모 문제 출제만으로도 학생 개개인의 실력을 파악하고 AI 진단테스트와 그에 맞는 교육 서비스를 제공하는 기술입니다.

인공지능은 교육, 의료, 마케팅 등 점점 더 많은 분야에서 사용되고 있어요. 최근 교육분야에서는 AI를 학생 개개인의 학습 실력에 맞는 적절한 콘텐츠를 제공해 줌으로써 교육의 효과를 높이는 데에 활용하고 있답니다. 웅진씽크빅의 학습 서비스도 예외가 아닌데요. 웅진씽크빅은 전과목 AI 맞춤서비스 뿐만 아니라 개별 학습 교과 별로도 AI를 활용한 서비스를 다수 제공하고 있어요.

제가 일하는 에듀테크연구소에서는 2019년 1월부터 독자적인 AI기술을 사용해 많은 학생들이 어려움을 겪는 수학 과목에서의 맞춤 학습을 제공하는 인공지능 기술을 연구해왔고, 이에 대한 결과로 작년에는 “매쓰피드”라는 교육용 연산앱 서비스를 출시했습니다. 연산은 수학에서 기본이 되는 수 체계를 이해하고 사칙 계산을 수행하는 분야죠. 학습자들이 단계별로 적합한 수준의 연산 훈련을 통해 올바른 연산 기초를 다지고 숙련도를 높이는 것은 더 말할 나위 없이 중요해요.

우리 연구소의 매쓰피드 서비스는 학습자의 발달 수준과 연산실력에 맞춰 문제를 제공하고 실시간으로 피드백을 줍니다. 학습을 본격적으로 시작하기에 앞서 AI를 통해 10문항 이하의 진단테스트를 진행하는데요. 짧은 길이의 테스트임에도 학습자의 학습 수준을 충분히 파악할 수 있답니다. 최근에는 알고리즘을 개선해서 학습자의 연산 실력을 더욱 정확하게 추정할 수 있게 되었어요. 이번 글에서는 매쓰피드에서 사용중인 진단테스트의 알고리즘이 어떻게 개선되었는지 그 과정을 소개할게요. (그 과정을 소개하기 앞서 똑똑한 진단테스트가 적용된 **매쓰피드**도 경험해 보세요!)

문항 구간별로 평가한 기존의 알고리즘

매쓰피드는 진단테스트를 통해 학습자의 정오답 정보를 활용해서 학습자가 자신 있게 문제를 해결할 수 있는 내용을 찾고, 어려움을 느끼는 부분부터 학습을 시작할 수 있도록 학습 콘텐츠를 제안해 줍니다. 매쓰피드 론칭 초기에 사용한 진단테스트는 아무런 정보가 없는 상태에서 학습자의 수학 실력을 찾아야 했기 때문에, 테스트 문항을 몇 가지 구간으로 분류해서 평가를 진행하였다는 것이 특징입니다.

[그림 1] 기존 알고리즘의 문항 평가 체계

이 알고리즘은 전체 문항을 구간마다 분류해 평가하기에, 진단테스트의 마지막 문제까지 다 풀고 난 뒤에 학습자의 수학 학습 수준을 간주할 수 있습니다. 간단히 설명하자면, [그림 1]처럼 초반의 문항들은 학습자의 학기 수준을 추정하고, 중간 그룹의 문항들은 추정된 학기 내에서 학습자의 정확한 학습 위치를 탐색한다고 할 수 있어요. 그리고 마지막 그룹의 문항들을 통해 학습자의 학습 위치에 대한 숙달 여부를 확인했답니다.

오차가 적은 진단테스트 알고리즘으로 개선

이에 비해 개선된 진단테스트 알고리즘에서는 문항을 구간 단위로 활용하는 것이 아니라 [그림 2]와 같이 각 문항마다 학습 수준을 바로바로 체크해 사용자의 학습 수준을 찾아갈 수 있다는 것이 강점입니다.

[그림 2] 문항마다 학습 수준을 진단하기 위한 알고리즘 고안

새로운 진단테스트의 알고리즘은 [그림 2]와 같이 문제를 맞히면 조금 더 어려운 문제를, 문제를 틀리면 조금 더 쉬운 문제를 주면서 학습자의 수학 실력을 찾아가죠.

[그림 3] 개선된 알고리즘의 문항 평가 체계

대신, 이때 각각의 학습자마다 얼마나 더 어렵고, 얼마나 더 쉬워져야 하는지를 판단할 때 단순한 규칙을 사용하는 것이 아니라 AI알고리즘을 통해서 결정합니다. 이 때의 AI알고리즘에서 학습자의 수준을 측정하는 영역은 교육평가 분야에서 널리 활용되는 문항반응이론(item response theory)에 기반하여 구성되었고, 학습자마다 어려움을 느끼는 지점에 대한 탐색을 위해서는 황금분할 탐색법(golden section search)을 활용하였습니다. AI를 활용한 알고리즘을 사용하고 난 뒤부터 매쓰피드 서비스의 진단테스트는 15문제를 다 풀지 않고도 학습자들의 수학 실력을 찾아낼 수 있게 되었답니다.

모의실험 결과 오차 크기 10분의 1로 개선

이렇게 개선된 진단테스트 알고리즘을 실제 서비스에 도입하기에 앞서, 우리 연구소에서는 그 정확성을 확인하기 위해 가상의 학습자들을 대상으로 모의실험을 진행했습니다. 초등학교 1학년부터 중학교 3학년까지 다양한 학년으로 가상의 학습자들을 구성하여 개선된 알고리즘이 저마다 다른 수학 실력을 가진 학습자들의 상황을 제대로 파악할 수 있는지 확인해 보았어요. 모의실험은 총 20회에 걸쳐 반복적으로 시행해 무선 오차의 영향을 최소화했습니다. 모의실험에서 얻은 세부적인 결과는 <표 1>과 같습니다.

모의실험은 기존의 알고리즘과 개선된 알고리즘을 사용해서 진단테스트의 결과로 얻어진 ‘진단 학습수준’을 구하고, 이 값이 학습자들의 진짜 수학실력으로 가정한 ‘진 학습수준’과 얼마나 큰 오차를 발생시키는지 확인하는 과정을 거쳤습니다. 그 결과, 기존의 알고리즘을 사용한 경우 ‘진단 학습수준’과 ‘진 학습수준’과의 모든 오차를 하나의 수치로 통합한 전체 추정오차로써의 평균 제곱근 오차(Average Root Mean Squared Error, ARMSE)크기는 0.574~3.122로 나타났습니다.

그에 비해, 개선된 알고리즘으로 15개의 출제 문항을 전부 사용하는 경우(개선 알고리즘 1)에는 0.057~0.061로, 동일한 조건에서 최대 1/10 수준으로 오차가 현저히 줄어든 것을 확인할 수 있었어요. 특히 학습자가 자신의 학년보다 수학 실력이 높은 경우에도 그 오차가 급격히 증가하지 않았습니다.

또한 개선된 알고리즘에서는 학습자가 학년보다 낮거나 학년과 유사한 정도의 학습 수준을 지녔을 때에는 12~13개의 문항을 출제하더라도 정확한 학습 수준의 추정이 가능해져서, 진단테스트를 80% 수준으로 축소시킬 수 있음을 확인했습니다(개선 알고리즘 2).

모의실험의 연구 결과를 실제 사례로 적용해 본다면, 진단테스트 문제가 15문제 이하로 출제되더라도 학습자의 실제 수학 실력은 매쓰피드 서비스에서 추천받은 학습 내용과 일주일 정도의 차이만을 발생시킨다고 말씀드릴 수 있겠어요.

[그림 4] 개선된 AI진단테스트

더욱 정교해진 AI, 향후 딥러닝 도입 기대

진단테스트는 학습자의 정확한 학습 능력을 파악하고 흥미로운 학습 경험을 제공하기 위해 반드시 필요한 과정인데요. 이번 연구에서처럼 진단테스트에 AI를 활용하면 어떤 이점이 있을까요? 방대한 데이터를 빠르게 분석하고, 분석 기능을 향상시켜서 더욱 정확한 평가 결과를 제공할 수 있죠. 또 AI 진단테스트는 편견을 제외시키고 공정한 결과를 얻을 수 있다는 장점도 있습니다. 이러한 AI 진단테스트는 학교와 기업, 기관 등의 학습 관리 시스템에 널리 활용될 수도 있겠지요.

제가 일하는 웅진씽크빅 에듀테크연구소의 개인화학습기술팀은 이번 연구를 통해 개선된 AI 진단테스트 알고리즘이 학습자에게 추천되는 컨텐츠와 학습자의 실제 수학 실력과의 차이를 현저히 낮춘 것을 확인할 수 있었습니다. 그렇게 개선된 진단테스트 알고리즘은 2021년 12월 7일부터 매쓰피드를 통해 제공하고 있어요. 여기에서 그치지 않고, 올해 4월에는 문항 메타 고도화를 통해 진단테스트 문항 수를 10개 이하로 줄여 학습자의 부담을 대폭 완화하였습니다. 우리 연구소는 알고리즘을 보완하는 데서 나아가, 향후 딥러닝(deep learning)을 사용하는 알고리즘을 새로 도입하는 등 다양한 방면으로 AI 서비스를 발전시키고자 노력하고 있답니다.

웅진씽크빅 에듀테크연구소 챕터와 함께하고 싶으시다면?

➥**채용 분야 보기!**