교육 제품 · 서비스 · 교육 콘텐츠 · 평가 설계
AICE Generative 모의평가 및 시험 시뮬레이터 구축
교육 콘텐츠를 실제 평가 경험이 가능한 학습서비스로 확장했습니다.
- 서비스 기획
- 평가 설계
- 콘텐츠 개발
- 웹 구현
01Overview
- 기간
- 2026.05 ~ 2026.07
- 소속 · 기관
- 와이즈교육
- 대상
- AICE Generative 응시 준비 학습자
- 역할
- 서비스 기획 · AI 교육콘텐츠 개발 · 평가 설계 · 웹서비스 개발
- 기여도
- 90%
- 핵심 결과
- 모의평가 3회 · 27문항 · 예시답안 · 평가기준 · 웹 시뮬레이터
02Context
AICE는 KT와 한국경제신문이 함께 운영하는 AI 활용능력 자격시험입니다. 그중 Generative 등급은 생성형 AI에게 원하는 결과물을 얻어내는 능력을 평가합니다.
응시자는 주어진 상황에 맞게 프롬프트를 작성하고, 그렇게 만들어진 결과물의 완성도로 평가받습니다.
이 프로젝트는 해당 시험을 준비하는 학습자를 위한 모의평가 콘텐츠와 시험 환경을 만든 작업입니다.
03Problem
생성형 AI 문제는 정답이 하나로 정해지지 않습니다. 같은 문항에서도 응시자마다 다른 형태의 답변이 나오기 때문에 맞고 틀림으로 채점할 수 없습니다.
온라인 강의와 문제지만으로는 답안을 어떤 형식으로 입력하는지, 어떤 요소를 기준으로 평가받는지, 어느 수준까지 작성해야 하는지 학습자가 체감하기 어려웠습니다.
문항을 더 만드는 것으로는 이 간극이 좁혀지지 않았습니다.
04Goal
평가 콘텐츠 구축
실제 시험 대비가 가능한 수준의 모의평가 문항과 평가기준을 만듭니다.
시험 경험 구현
학습자가 직접 답변을 입력하고 평가 결과를 확인할 수 있는 웹 환경을 만듭니다.
05My Role
직접 담당
- 서비스 구조 설계
- 사용자 흐름 설계
- 모의평가 3회차 구성
- 총 27문항 설계
- 문항별 예시답안 제작
- 평가기준 설계
- 역할 · 맥락 · 명령 · 형식 · 어조 등 평가요소 구조화
- 웹 기반 시험 시뮬레이터 기획 및 개발
- 생성형 AI API 호출 구조 검토
- 사용자 답변에 따른 평가결과 반복 테스트
- 문항 · 프롬프트 · 평가방식 개선
- 모델 사용량 및 운영비용 검토
06Process
평가 콘텐츠 제작 과정
01
시험 구조 분석
AICE Generative 문제 유형과 시험 방식을 확인했습니다.
02
평가요소 정의
생성형 AI 답변을 평가할 역할 · 맥락 · 명령 · 형식 · 어조를 정리했습니다.
03
모의문항 설계
3회차 구성으로 총 27문항을 제작했습니다.
04
예시답안 · 평가기준
문항별 기대 답변과 평가요소를 함께 정의했습니다.
05
시험환경 구현
문항 확인부터 답변 작성 · 제출 · 결과 확인까지 웹으로 구현했습니다.
06
반복 테스트
다양한 답변을 입력해 평가 결과를 비교했습니다.
07
수정 · 검증
문항과 프롬프트, 평가기준을 조정하고 다시 테스트했습니다.
01
시험 구조 분석
AICE Generative 문제 유형과 시험 방식을 확인했습니다.
02
평가요소 정의
생성형 AI 답변을 평가할 역할 · 맥락 · 명령 · 형식 · 어조를 정리했습니다.
03
모의문항 설계
3회차 구성으로 총 27문항을 제작했습니다.
04
예시답안 · 평가기준
문항별 기대 답변과 평가요소를 함께 정의했습니다.
05
시험환경 구현
문항 확인부터 답변 작성 · 제출 · 결과 확인까지 웹으로 구현했습니다.
06
반복 테스트
다양한 답변을 입력해 평가 결과를 비교했습니다.
07
수정 · 검증
문항과 프롬프트, 평가기준을 조정하고 다시 테스트했습니다.
07Key Decisions
Decision 01
단일 정답 대신 평가요소를 구조화했습니다
정답을 하나로 정하면 생성형 AI 문제의 특성이 사라집니다. 좋은 답변을 이루는 요소를 나누고 각 요소를 기준으로 평가하도록 설계했습니다.
Decision 02
문항과 예시답안, 평가기준을 함께 설계했습니다
기준을 모른 채 답을 쓰면 무엇을 고쳐야 하는지 알 수 없습니다. 문항마다 예시답안과 평가기준을 붙여 학습자가 스스로 비교하도록 했습니다.
Decision 03
문제지와 함께 실제 시험환경을 웹으로 만들었습니다
실제 시험은 정해진 입력창에 답을 쓰고 결과를 받는 경험입니다. 같은 흐름을 그대로 겪어보도록 시험 환경 자체를 구현했습니다.
Decision 04
평가 정확도와 운영비용을 함께 검토했습니다
AI 평가는 호출할 때마다 비용이 발생합니다. 응답 품질만 보지 않고 호출량과 모델 사용량을 함께 확인해 운영 가능한 수준을 맞췄습니다.
08Flow & Structure
평가요소 구조
생성형 AI 답변은 정답 여부로 나눌 수 없습니다. 좋은 답변을 이루는 요소를 나눠 각각을 평가 기준으로 삼았습니다.
Role 역할
AI에게 어떤 역할을 부여했는가
Context 맥락
판단에 필요한 배경과 조건을 충분히 제공했는가
Instruction 명령
무엇을 해야 하는지 구체적으로 지시했는가
Format 형식
결과물의 형태와 구조를 지정했는가
Tone 어조
대상과 목적에 맞는 어조를 요구했는가
학습자 이용 흐름
- 모의평가 선택
- 문항 확인
- 답변 작성
- 제출
- AI 평가
- 결과 확인
- 피드백 기반 재학습
모의평가 선택
문항 확인
답변 작성
제출
AI 평가
결과 확인
피드백 기반 재학습
09Feedback
평가 기준을 다듬은 반복 과정
01
답변 입력
유형이 다른 답변을 직접 작성했습니다.
02
평가 결과 확인
각 답변이 어떻게 채점되는지 확인했습니다.
03
편차 확인
의도와 다르게 평가된 지점을 찾았습니다.
04
문항 · 기준 수정
문항 표현과 평가기준을 조정했습니다.
05
재테스트
같은 답변으로 다시 평가해 비교했습니다.
01
답변 입력
유형이 다른 답변을 직접 작성했습니다.
02
평가 결과 확인
각 답변이 어떻게 채점되는지 확인했습니다.
03
편차 확인
의도와 다르게 평가된 지점을 찾았습니다.
04
문항 · 기준 수정
문항 표현과 평가기준을 조정했습니다.
05
재테스트
같은 답변으로 다시 평가해 비교했습니다.
평가 결과가 의도와 다르게 나오면 문항과 기준을 고치고 같은 답변으로 다시 확인했습니다.
10Deliverables
- 회차별 모의평가 문항 세트
- 문항별 예시답안
- 문항별 평가기준
- 평가요소 정의 문서
- 웹 기반 시험 시뮬레이터
11Result
3회
모의평가
27문항
평가 문항
1개
웹 시뮬레이터
문항과 예시답안, 평가기준을 하나의 세트로 묶어 학습자가 기준을 보며 스스로 답변을 점검할 수 있게 했습니다.
실제 시험과 같은 순서로 답변을 입력하고 결과를 확인하는 흐름을 웹으로 구현했습니다.