설명용 일러스트: 책과 종이비행기에서 직접 해 본 일을 기록하는 메모로 이어지는 그림
글의 내용을 표현한 설명용 일러스트

시험 문제는 AI가 꽤 잘 풉니다

AI가 시험 문제를 잘 푼다면 아이에게 무엇을 가르쳐야 할까요. 이 글에서는 연구에서 확인한 결과와 제 생각을 나눠 적어 보려고 합니다.

그런데 구글 연구팀이 2023년에 낸 논문을 보면, 의사 면허시험 형식의 문제 모음인 MedQA에서 Med-PaLM 2가 최고 86.5%의 정답률을 기록했습니다. 논문은 당시 이 문제 모음에서 가장 높은 성적이라고 소개해요. 같은 논문에서는 의학 질문 1,066개를 놓고 의사들이 AI의 답과 의사가 쓴 답을 비교했는데, 아홉 가지 평가 항목 중 여덟 가지에서 AI의 답을 더 낫다고 했습니다. 다만 논문도 실제 현장에서 검증이 더 필요하다고 적었어요.

숫자를 그대로 믿으면 안 되는 사례도 있습니다. 한 AI가 미국 변호사 시험에서 상위 10% 정도의 성적을 냈다는 말이 널리 퍼졌어요. 그런데 나중에 MIT 연구자가 비교 대상을 다시 잡아 보니 처음 시험을 본 사람 기준으로 약 62번째 백분위였습니다. 서술형 답안은 그보다 낮게 나왔고요.

여기서 제가 읽은 건 두 가지입니다. 외워서 정답을 고르는 종류의 시험은 AI가 사람 못지않게 풀 수 있다는 것, 그리고 어떤 기준으로 재느냐에 따라 결과가 크게 달라진다는 것입니다.

설명용 도식: 출처가 있는 숫자 세 가지

그럼 무엇이 남을까요

세계경제포럼의 2025년 일자리 보고서를 보면, 조사에 응답한 기업의 약 70%가 분석적 사고를 핵심 역량으로 꼽았습니다. 2030년까지 노동자가 쓰는 핵심 기술의 39%가 바뀔 것으로 내다봤고요. 앞으로 중요해지는 기술 목록에는 창의적 사고, 회복탄력성, 호기심과 평생 학습도 들어 있습니다.

여기까지가 출처가 있는 이야기입니다. 지금부터는 제 생각입니다.

저는 많이 외워서 전문성을 지키던 방식이 점점 약해질 거라고 봅니다. 대신 차이는 현장에서 직접 해 본 경험, 그리고 그 경험을 기록해 둔 나만의 자료에서 나올 거라고 생각해요. 책에 있는 내용은 AI가 훨씬 빨리 찾아 주지만, 어떤 상황에서 무엇이 실제로 통했는지는 해 본 사람만 알고 있거든요. 같은 지식을 가진 두 사람이 있어도, 한 사람은 직접 여러 번 해 보고 무엇이 안 됐는지까지 적어 둔 사람이라면 그 기록은 다른 어디에서도 구할 수 없는 자료가 됩니다. 앞으로는 그런 자료가 쌓인 사람이 강해진다고 봅니다.

아이에게는 무엇을 시킬까요

외우기가 쓸모없다는 뜻은 아닙니다. AI가 틀린 말을 할 때 그걸 알아채려면 기본 지식이 머릿속에 있어야 하니까요. 외우는 공부는 판단하는 데 쓰는 바탕으로 두고, 시간은 직접 해 보는 쪽에 더 쓰자는 얘기입니다.

설명용 도식: 오늘 해 보실 한 가지

오늘 해 보실 수 있는 한 가지

아이와 같이 종이비행기처럼 간단한 것 하나를 AI에게 물어서 만들어 보세요. 설명대로 했을 때 무엇이 달랐는지 한 줄로 적어 두면 됩니다. 그 차이를 보면서 다음에 무엇을 바꿀지 같이 생각해 보시면 좋겠어요.

출처