AI가 과제 다 풀어버리자 평가방식 뜯어고친 컴공 교수 근황

요약 2021년 챗GPT가 대중에 공개되기 전, 한 교수는 동료의 제안으로 과목 읽기 퀴즈를 GPT-3에 테스트해 봤습니다. 놀랍게도 AI는 지정된 논문을 직접 읽지도 않고 루브릭(채점 기준)을 충족하는 설득력 있는 답변을 뚝딱 만들어냈습니다. 당시에는 수업 방식을 바꾸지 않고 넘어갔지만, 그로부터 5년 뒤 AI 에이전트가 코스와 관련된 모든 과제를 척척 풀어내는 수준에 이르자 결국 평가 방식을 전면 뜯어고칠 수밖에 없었습니다. 해당 교수가 담당하는 수업은 학생 100~170명 규모의 고학년 과목인 '프로덕션 환경의 머신러닝(Machine Learning in Production)'입니다. 엔지니어링 절충점 파악, 리스크 예측과 완화, 팀워크 등 핵심 학습 목표는 유지하되, 필기 및 구술시험을 제외한 모든 과제에서 AI 사용을 출처 표기 없이 전면 허용하고 오히려 적극 권장했습니다. AI 사용을 단속하는 것이 현실적으로 불가능할뿐더러 학생들이 도구를 책임감 있게 다루는 법을 배워야 한다고 봤기 때문입니다. 그러나 이 과정에서 기존 교육학의 모범 원칙들이 흔들렸습니다. 잦은 과제와 퀴즈를 통한 '저부담 평가'와 실수 후 보완할 기회를 주던 과제 재제출 제도가 AI로 인해 악용되기 시작했습니다. 학생들이 아무 고민 없이 AI로 뽑아낸 답변을 낸 뒤 채점 피드백만 보고 고쳐내는 부작용이 생기자, 재제출 시 10% 감점 페널티를 도입해야 했습니다. 결국 교수는 텍스트 서술형 과제와 성찰 보고서를 완전히 폐지했습니다. 대신 과제를 제출한 뒤 학생 개개인이 조교(TA)와 15분간 일대일 라이브 대면 미팅을 잡아 직접 질문에 답하도록 시스템을 바꿨습니다. AI로 답변 초안을 외워올 수는 있어도 꼬리 질문을 던지면 실제 이해도를 확인할 수 있기 때문입니다. 이는 전통적인 교육학 권장 사항과는 다소 어긋나지만, AI 시대에 학생들의 진짜 실력을 평가하기 위해 택한 불가피한 생존 전략이었습니다.