엘리스테스트 하나로 온·오프라인 역량 진단과 평가를 완벽하게

성균관대학교

성균관대학교는 626주년의 역사와 전통을 바탕으로 도전, 혁신, 공유 그리고 상생을 실천하며 고등교육의 발전을 선도해 나가고 있습니다. 현재는 ‘Inspiring Future, Grand Challenge’라는 모토 하에 새로운 시대를 주도하는 능력 있는 대학의 상징이 되었는데요. 2023년에는 과학기술정보통신부의 ‘메타버스융합대학원 지원사업’에 선정되어 메타버스 서비스 기획·연구개발·사업화 전 단계를 아우르는 능력을 갖춘 융합형 인재 양성을 목표로 실감미디어공학과를 설립하였습니다. 메타버스 서비스 구현에 필요한 ICT기술과 인문사회 분야를 융합한 교과과정을 운영하고, 메타버스 특화 연구 및 교육과정을 개발 및 운영하며, 산업현장의 현안 해결을 위해 협력 기업들과의 산학 협력 과제를 수행하며 융합 인재 양성에 힘쓰고 있습니다.

성균관대학교 실감미디어공학과에서는 입학생들의 역량 진단과 교육을 위해 엘리스와 함께 역량평가 및 교육을 진행하고 있는데요. 성균관대 지능형멀티미디어연구센터에서 근무하시는 유소희 담당자님을 만나 역량 평가와 교육 사례에 대해 자세한 이야기를 들어보았습니다.

Q. 안녕하세요. 간단한 자기소개와 함께 현재 진행하고 계시는 업무에 대해 말씀 부탁드립니다.

안녕하세요. 저는 성균관대학교 지능형멀티미디어 연구센터에서 실감미디어공학과의 각종 행사를 기획하고 온오프라인 홍보 등을 담당하고 있는 유소희라고 합니다. 실감미디어공학과는 정부의 메타버스 융합 대학원 사업으로 23년도 2학기 때 신설되었어요. 융합적 성격을 띠는 학과이다 보니 소속 학생들의 기존 전공도 이과와 문과 비중이 6:4정도의 비율로 구성되어 있습니다.

Q. 엘리스를 통해 역량평가와 보완교육을 진행하셨는데요. 왜 엘리스를 선택하게 되었고, 어떤 기대가 있었나요?

사실 제가 예전에 엘리스 대표님 인터뷰를 본 적이 있어 엘리스를 이미 알고 있었거든요. 저도 문과생이었기 때문에 코딩 강의를 찾아보면서 엘리스를 이미 접하기도 했었고요. 성균관대 지능형멀티미디어 연구센터에 와서 프로그래밍 역량 평가가 필요하다는 얘기를 듣자마자 엘리스를 떠올렸고 교수님께 제안을 드렸죠. 물론 다른 경쟁 업체들도 고려하여 비교해 보았고, 결론적으로 엘리스의 역량평가와 교육이 체계적이라고 판단하여 선택했습니다.

Q. 역량 평가는 어떤 분들을 대상으로 진행이 되었으며, 역량평가를 통해 달성하고자 한 목표는 무엇인가요?

역량평가는 기본적으로 실감미디어공학과 입학이 확정된 입학생들을 대상으로 진행하는데요. 학과 커리큘럼을 이수하기 위한 기본 역량을 얼마나 지니고 있는지 진단하기 위한 평가예요. 융합 학과이다 보니 기본적으로 프로그래밍에 대한 역량이 요구되는데 사실 문과 학생들은 아직 프로그래밍을 접해보지 않은 경우도 있거든요. 입학 확정 후 역량 평가를 통해 기본 역량을 진단하고, 만약 기준보다 미달이 될 경우에는 저희가 엘리스를 통해 보완 교육까지 제공하면서 졸업하기 전까지 역량을 쌓는 것을 목표로 하고 있습니다. 실제로 이 역량 평가 패스를 졸업 요건으로 둘 만큼 중요하게 생각하고 있어요.

Q. 역량평가에서 가장 중요한 점은 무엇인가요?

저는 역량평가에서 중요한 건 진단하고자 하는 영역에 대해 정확한 평가를 할 수 있는 문항 구성이라고 생각합니다. 저희가 엘리스 역량평가를 도입하기 이전에 교수님께서 출제하셨던 문제를 정리해서 엘리스에 전달해 드렸고, 엘리스에서는 해당 문제의 난이도와 문항 구성과 비슷한 수준으로 문항을 구성해 주셨습니다.

Q. 엘리스 역량평가에서 만족스러웠던 점은 무엇인가요?

관리가 효율적이라는 점이 만족스러웠어요. 문항 출제부터 채점 그리고 교육 관리까지 원활하게 진행할 수 있어서 관리하는 입장에서 편하고 수월하게 관리할 수 있었죠. 그리고 또 역량 평가를 응시할 때 관리자가 응시자의 3개 화면(웹캠, 모니터, 모바일 화면)을 모두 확인하면서 감독할 수 있는 것도 좋았습니다.

▲ 역량평가 응시 화면

Q. 엘리스 역량평가를 도입하기 전과 후에 어떤 변화가 있었나요?

엘리스를 도입하기 전에는 교수님께서 문제를 출제하고 또 직접 평가해야 해서 너무 많은 리소스가 들었는데요. 시험도 모두 수기로 이루어졌고, 채점도 수기로 이루어지다 보니 평가 결과를 통보하는 데만 몇 개월이 소요되었어요. 그런데 엘리스 역량평가를 도입하고 난 후에는 문제 출제부터 채점까지 신속하게 진행할 수 있었습니다. 관리자 입장에서 좋았던 게 역량평가 응시 후 바로 결과까지 확인하고, 학생들에게도 빨리 회신할 수 있었던 점이 정말 좋았던 것 같아요.

Q. 역량 평가의 결과에 따라 패스하지 못한 학생들을 대상으로 보완 교육이 진행되는데요. 보완 교육을 통해 달성하고자 한 목표는 무엇인가요?

일차적으로는 보완 교육을 통해 역량평가를 통과할 수 있도록 레벨업하는 게 목표에요. 그래서 학과 커리큘럼을 따라가는 데 문제없을 정도의 실력을 쌓을 수 있도록 하는 것이 목표라고 할 수 있습니다.

또 저희 실감미디어공학과의 특징이라고 할 수 있는 부분이 졸업 전까지 학생들을 촘촘하게 케어한다는 것인데요. 학과장님께서도 반드시 필수 역량을 쌓고 졸업해야 한다는 생각이 강하셔서, 학생들에게 무상으로 교육 콘텐츠도 제공하고 재시험도 응시하도록 하면서 역량 향상을 위한 부분을 계속 케어하고 있어요.

▲ 실감미디어공학과 역량 보완 교육 도메인

Q. 보완 교육에서 중요한 점은 무엇이라고 생각하시나요?

무엇보다 이론만 배우는 게 아니라 실제로 활용할 수 있는 역량을 쌓을 수 있는 게 제일 중요하다고 생각합니다. 엘리스 교육에서 인상적인 부분이 교육 콘텐츠에 이론 강의와 함께 실습 문제가 제공되더라고요. 이론을 접하고 바로 코딩을 직접 경험해볼 수 있는 게 좋았어요. 이렇게 실습 위주로 진행되는 교육이라는 것이 엘리스를 선택한 이유이기도 합니다.

Q. 앞으로 역량 평가와 교육에 대한 추가 진행 계획이 있으신지 궁금합니다.

저희는 1년 두 번 대학원 신입생을 모집합니다. 그래서 역량평가를 1년에 2회씩 계속 진행하는 것으로 계획하고 있습니다. 또 방학 기간에는 보완 교육을 진행할 예정이고요. :)

Q. 마지막으로 다른 조직에 엘리스를 추천한다면 추천하는 이유를 말씀해 주시면 감사하겠습니다.

저는 기관별로 담당자가 일대일 매칭이 되어 빠르고 지속적인 커뮤니케이션이 가능한 점을 말씀드리고 싶습니다. 여러 기관별로 니즈가 모두 다를 텐데요. 엘리스에서는 담당자가 기관별로 일대일 매칭이 되다 보니, 저희의 니즈에 맞게 교육 세팅, 평가 문항 구성 등이 가능하더라고요. 또 저희가 소소하게 궁금한 점도 질문을 많이 했는데, 그럴 때마다 신속하게 답변해 주시고 대응해 주셔서 관리하는 입장에서 편리했습니다. 각 조직에 맞는 평가나 교육을 찾으신다면 엘리스가 좋은 대안이 될 수 있을거라 생각합니다.

👉 엘리스 테스트 솔루션 더 알아보기

👉 우리 조직에 맞는 평가 및 교육 상담 받기

*해당 콘텐츠는 저작권법에 의해 보호받는 저작물로 엘리스에 저작권이 있습니다.*해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.

콘텐츠 제작 역량과 운영 노하우로 완성한 국내 최초 NPU 해커톤

최근 들어 IT 업계 인재들의 관심을 끌고 있는 ‘해커톤‘에 대해 알고 계신가요? ‘해커톤’이란 해킹(Hacking)과 마라톤(Marathon)의 합성어로, 주로 소프트웨어 분야의 개발자, 디자이너, 기획자 등이 모여 제한된 시간 내에 서비스를 만들어내는 행사입니다. 주최 브랜드와 직접 상호작용하며 더욱 높은 브랜딩과 홍보 효과를 가져오고 경쟁력 있는 인재까지 발굴하는 좋은 기회이죠.

빠르게 성장하고 있는 스타트업 ‘퓨리오사AI’ 역시 기업 특성에 맞는 해커톤으로 눈을 돌렸어요. 퓨리오사AI는 딥러닝에 최적화된 AI 칩인 고성능 NPU(신경망 처리 장치)를 설계하는 반도체 팹리스(Fabless) 스타트업인데요.

▲ 퓨리오사AI

이렇게 국내 최초 NPU 활용 Vision AI 개발 해커톤, ‘FURIOSA AI 해커톤‘이 열렸습니다. 국산 NPU 기술을 경험하고 NPU 기반 AI 서비스를 개발하는 것이 주제였어요. 엘리스랩에서 열린 본선뿐 아니라 사전 교육과 예선까지 거쳐 총 1,000여 명의 참가자가 참여했습니다.

참가자 1,000명 대규모 해커톤, 노하우 기반으로 세심한 기획과 운영

퓨리오사AI는 첫 해커톤 개최를 위해 엘리스와 손잡았습니다. 지금껏 해커톤을 운영하며 축적해 온 노하우가 있기 때문이었어요. 기획부터 모집, 운영, 심사 기준 확립까지 전반적인 과정을 믿고 맡길 수 있었습니다.

▲ 퓨리오사AI 해커톤 진행 순서

먼저 보통의 해커톤과는 다르게 참가자들을 위한 온·오프라인 SDK(Software Development Kit, 소프트웨어 개발 도구) 사전 교육을 기획했어요. 생소한 NPU와 ‘워보이(Warboy)’를 참가자들이 제대로 활용하는 부분이 핵심적일 것으로 판단했기 때문이었습니다.

온라인으로 이론 강의를 수강하고, 오프라인에서는 퓨리오사AI 엔지니어님의 시연을 직접 보고 질의응답 할 수 있는 시간을 마련했죠. 참가자들은 NPU에 대한 이해를 높이고, 더 의미 있는 해커톤을 경험할 수 있었습니다.

▲ 퓨리오사AI 해커톤 현장

해커톤은 아무리 준비를 꼼꼼하게 해도 오프라인 행사 특성상 언제든 변수가 생길 수 있는데요. 엘리스는 다수의 해커톤을 통해 쌓인 노하우를 바탕으로 안정적으로 이벤트를 운영할 수 있었어요. 해커톤 특성상 이동에 제약이 있는 참가자들을 위해 식사, 물품 구비 등 운영에 있어 여러모로 신경 쓴 점이 인상 깊었다는 의견들이 많았습니다.

맞춤 콘텐츠 개발로 더욱 알찬 해커톤

예선뿐 아니라 사전 교육까지 필요했던 해커톤이었던 만큼, 콘텐츠 개발이 현장 진행 못지않게 중요했습니다. 전례 없는 국내 최초 NPU 해커톤이었기 때문에 더욱 신경 써야 하는 부분이었는데요.교육·평가 콘텐츠 제작 경험이 풍부한 엘리스 콘텐츠 팀에서 퓨리오사AI가 제공한 자료를 바탕으로 이론과 실습 교육 콘텐츠를 맞춤으로 제작할 수 있었어요. 해커톤 예선 문항 제작 역시 엘리스에서 담당해 포지션에 맞는 SDK 퀴즈, AI 모델링, 알고리즘 코딩 테스트 등을 모두 기획했습니다.

엘리스LXP로 강의 수강과 AI 개발을 한 번에

본선은 오프라인 현장에서 진행되지만, 사전 교육과 실습, 예선 평가를 진행할 플랫폼 역시 필요했어요. 이 모든 문제를 엘리스LXP를 활용해 해결하였습니다.

▲ 엘리스LXP에서 진행한 해커톤용 사전 SDK 교육

사전 교육 강의 콘텐츠와 실습 문제를 미리 엘리스LXP에 세팅해 두고 참가자들에게 간편하게 제공할 수 있었어요. 이후 온라인 예선 코딩 테스트도 같은 플랫폼에서 진행했죠.특히 퓨리오사AI는 특별히 참가자들 모두에게 ‘1인 1NPU’를 활용한 실습 기회를 제공하고자 했는데요. 엘리스LXP 내 주피터노트북으로 워보이 칩 활용에 대한 설명을 보고 코드까지 바로 실행해 볼 수 있어, 이런 이례적인 운영도 수월하게 할 수 있었습니다.

하나의 플랫폼에서 모든 강의 콘텐츠와 평가를 이용할 수 있는 점은 특히 해커톤이라는 형식과 잘 맞았습니다. 해커톤은 대부분 장기간 진행되어, 참가자 이탈을 막기 위해 편의성을 극대화하고 한 호흡에 끌고 가는 것이 중요하기 때문이죠.

▲ 엘리스LXP 내 런박스 실습 화면

본선에서의 본격적인 개발 역시 엘리스LXP 내 엘리스클라우드로 진행했어요. 한 팀당 GPU, NPU 각각 하나의 인스턴스 자원이 지원되었는데요. 엘리스클라우드에서 나만의 인스턴스를 만들고, 워보이가 활용된 서버에 연결해 AI 개발 환경을 간편하게 이용할 수 있었어요.

성공적인 해커톤의 마무리! 창의적인 결과물과 참가자들의 만족도

▲ 대상 수상작 ‘Blur AI’ 서비스 소개

본선에 진출한 모든 팀이 Vision AI의 무궁무진한 가능성을 보여주는 창의적인 결과물을 선보였어요. 안면 인식 기술을 활용해 사람 얼굴을 자동으로 블러 처리하는 인터랙티브 라이브 스트리밍 서비스 ‘Blur AI’, 카셰어링 차량 대여 및 반납 시 파손 여부를 자동으로 확인하는 AI 서비스 ‘찰칵찰칵’ 등 다채로운 결과물들이 수상의 영예를 안았습니다.NPU에 대해 깊이 알지 못하는 상태에서 한정적인 시간에 하나의 제품을 만들어내는 부분이 어려웠는데, 두 회사 엔지니어와 운영진의 풀타임 지원 덕분에 더 잘 몰입할 수 있었다는 참가자들의 의견이 많았어요.

▲ 퓨리오사AI 이민섭 HR팀장님의 해커톤 후기

👉 1,500명 이상 지원한 엘리스 AI Edu 해커톤 사례 더 보기

👉 해커톤 관련 상담 요청하기

*해당 콘텐츠는 저작권법에 의해 보호받는 저작물로 엘리스에 저작권이 있습니다.

*해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.

우리FIS

우리FIS는 은행, 신용카드, 증권, 보험 등 금융업 전반의 IT 개발 및 운영을 서비스하는 종합 금융 IT서비스 회사입니다. 국내 최초로 개발부터 IT 인프라 운영에 이르는 토탈 IT 아웃소싱 모델을 구현하였으며, 자체 표준 개발 프레임워크 구축을 완료하는 등 디지털 혁신에 박차를 가하고 있는데요. 특히 기반 기술을 강화하고 체계적인 내부 개발 직무 역량 평가를 통해 디지털 전환 가속화에 힘쓰고 있습니다. 우리FIS는 디지털 전환에서 중요한 디지털 역량 진단하기 위해 2022년부터 엘리스 테스트 솔루션을 도입하여 개발자 역량 평가 솔루션을 진행하고 있습니다.

역량 체계 설계를 위한 테스트 솔루션 도입

우리FIS는 현업 개발자의 역량을 진단하여 직급별 역량 체계를 설계하고 기준을 정의하는 것을 목표로 개발자 역량 평가를 실시하였는데요. 특히 개발자의 실무 역량을 평가하는 것에 방점을 두었기 때문에 언어별로 테스트를 진행하였으며 ‘검색창 만들기’, ‘API 개발하기’ 등 현업 태스크 단위로 문항을 출제하였습니다. 최종적으로 개발자와 전문가의 문항 합의 및 검토를 거친 뒤, 엘리스 테스트 플랫폼에서 200~300여 명의 개발자를 대상으로 대규모 온라인 직무 역량 평가가 진행되었습니다.

실무 태스크 단위로 개발자 역량 평가 가능

우리FIS 테스트에서 무엇보다 중요한 것은 체계적으로 개발자 직무 역량 평가를 하는 것이었습니다. 실제 업무 역량을 평가하기 위해 SQL, 자바, C, 자바스크립트 등 현업에서 사용하는 언어별로 코딩테스트가 진행되었으며, 태스크, 기능 단위로 문항이 출제되었습니다. 또한 엘리스 테스트 플랫폼은 실제 개발 환경과 유사한 테스트 환경에서 시험이 이루어지기 때문에 응시생들이 테스트 환경에 빠르게 적응하고 시험에 집중할 수 있었습니다.

응시 중 검색 혹은 레퍼런스 확인이 필요한 경우, 엘리스테스트 내 ‘레퍼런스 페이지 기능’을 통해 필요한 라이브러리를 가져와 사용할 수 있도록 진행하였는데요. 실제 업무에서는 필요한 라이브러리를 검색해서 사용하는 것도 능력이기 때문에 엘리스테스트에 레퍼런스 페이지 기능이 포함되어 있습니다.

▲ 테스트 예시 화면(실제 우리FIS 테스트 문항이 아닌 참고를 위한 예시 문항입니다)

엘리스는 기업이 속한 산업군과 응시자의 업무를 고려하여 문항을 설계합니다. 따라서 우리FIS가 금융 산업군임을 고려하여 은행권 데이터베이스에 맞춰 문항이 제작되었는데요. 백만 개 이상의 데이터셋을 만들어 문항을 출제하였으며, SQL 과목의 경우 실제 은행에서 사용하는 칼럼에 맞춰 출제하는 등 금융 산업 맞춤형 문제를 통해 실제 현업 개발자 직무 역량 평가를 진행하고자 하였습니다.

관리 및 감독이 간편한 테스트 플랫폼 환경

대규모 온라인 시험 플랫폼은 수백 명이 동시에 응시하며, 각자 다른 장소에서 시험을 보기 때문에 최대한 관리자가 간편하게 감독할 수 있도록 테스트 환경이 세팅되어 있습니다. 특히 엘리스 테스트 플랫폼은 원격 신분증 인증 기능을 통해 쉽고 빠르게 신분증 인증이 진행되었는데요. 화면 QR코드를 통해 신분증 촬영 및 제출이 이루어지며, 개인정보 마스킹이 바로 가능하기 때문에 개인정보 유출 우려 없이 신분증 인증을 진행할 수 있었습니다. 또한 테스트 관리자는 신분증을 시험 중이나 시험 완료 후에도 언제든 확인할 수 있어 손쉽게 신분증 검수 및 컨펌이 이루어졌습니다. 시험 도중 혹은 시험이 끝난 후에도 언제든 대시보드 확인이 가능하여 관리자가 편리하게 관리할 수 있습니다.

▲QR코드로 간편하게 진행되는 신분증 인증

▲ 시험 완료 혹은 시험 도중에도 실시간 확인이 가능한 관리자 대시보드

부정행위 차단을 위한 모니터링 및 솔루션

우리FIS 개발자 직무 역량 평가는 100% 온라인 시험 플랫폼으로 진행되며, 응시생의 자택에서 이뤄지다 보니 부정행위에 대한 우려도 있었는데요. 엘리스테스트의 3중 모니터링 시스템 및 솔루션을 통해 부정행위를 미리 방지할 수 있었습니다. 3중 모니터링 시스템은 응시자의 웹캠, 모니터, 모바일 3가지 화면을 관찰 및 감독할 수 있는 시스템인데요. 3중 모니터링 시스템으로 사각지대까지 빈틈없이 모니터링이 가능했으며, 녹화 기능으로 추후 검토까지 진행할 수 있습니다. 또한 모니터링 기능을 통해 부정행위가 의심되는 행동이 발견되면 개별 메시지를 보내거나, 모니터링을 진행하고 있는 관리자가 몇 명인지도 확인할 수 있어 원활하게 시험을 관리 및 감독하는 것이 가능했습니다.

▲ 모니터, 웹캠, 모바일 화면을 관찰할 수 있는 3중 모니터링 시스템

또한 엘리스테스트는 듀얼 모니터를 통해 답안을 검색하거나 공유하지 못하도록 환경을 통제하거나 SNS, 메모장 등의 타 프로그램 사용 여부를 파악하고 감독관에게 보고하는 기능을 제공하는데요. 특히 최근에는 ChatGPT의 등장으로 인해 ChatGPT를 활용한 부정행위를 우려하는 경우가 많았습니다. 엘리스 온라인 시험 플랫폼은 이러한 부정행위까지 철저하게 막을 수 있도록 자동 부정행위 방지 솔루션을 제공하고 있습니다. 따라서 우리FIS 테스트 시에도 전체 화면을 해제하거나 특수키를 입력하는 경우 화면이 자동으로 블록(block) 처리되었으며, 문제 유출을 막기 위해 지시사항은 복사 및 붙여넣기가 불가능하도록 세팅되었습니다.

▲ 전체화면 해제 시 자동으로 블록 처리되는 플랫폼 화면

우리FIS 개발자 직무 역량 평가는 실무 개발 능력을 평가하기 위해 테스트 목적, 난이도, 퀴즈 및 실습 등의 다양한 부분을 고려하여 설계되었는데요. 체계적으로 실무자의 디지털 역량 진단할 수 있는 문항과 안정적인 테스트 플랫폼으로 개발자 역량 평가를 원활히 진행할 수 있었습니다. 또한 이러한 역량 평가를 통해 내부적으로 신뢰도 높은 역량 체계를 구축하는 기반을 다질 수 있었습니다.

엘리스는 수년간 여러 기업의 DX 교육을 제공하며 교육과 평가에 대한 기업의 니즈를 파악해 왔는데요. DX교육을 통해 쌓아온 학습 데이터를 기반으로 산업군별, 직군별, 직급별 필요한 능력과 수준의 차이를 이해하고 이를 바탕으로 체계적인 직무 역량 평가 솔루션을 구성합니다. 우리FIS 테스트 사례와 마찬가지로 이미 많은 기업에서 엘리스테스트 솔루션으로 개발자 역량 평가를 진행하고 있는데요. 프로그래밍 언어 지식뿐만 아니라 데이터 사이언스, AI, 데이터 리터러시, 코드 리뷰 등에 대해 종합적으로 디지털 역량 진단 평가할 수 있습니다. 실제 직무 역량을 가늠할 수 있는 테스트가 필요하거나, 개발자 역량 평가에 대해 고민이 있으시다면 엘리스테스트를 살펴보시길 추천해 드립니다.

👉 엘리스테스트 더 알아보기

👉 우리 기업에 맞는 테스트 솔루션 상담받기

*해당 콘텐츠는 저작권법에 의해 보호받는 저작물로 엘리스에 저작권이 있습니다.

*해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.