최신 LLM 처참하게 바른 10년 전 구형 AI의 피부암 진단 실력

요약 2015년에 처음 발표된 구형 이미지 분류 모델인 인셉션 v3(Inception v3)가 최신 프론티어 LLM들을 피부암 진단 대결에서 압도한 실험 결과가 공개되어 화제가 되고 있습니다. 연구자는 2025년 ISIC를 통해 공개된 'MILK10k' 데이터셋에서 조직검사로 확진된 200개의 피부 병변 이미지를 무작위로 추출해 테스트를 진행했습니다. 이 중 100개는 흑색종(30개), 기저세포암(25개), 편평세포암(25개) 등 치료가 시급한 악성 병변이었고, 나머지 100개는 양성 모반(점)과 지루성 각화증 등 귀가 조치가 가능한 양성 병변이었습니다. 모두 실제 임상에서 의사가 의심스러워 생검(절제)을 진행했던 까다로운 사례들로 구성되었습니다. 실험 대상은 2026년 10월 기준 최고 성능의 LLM인 GPT-6 아스트라(Astra)와 클로드 페이블 5.1(Claude Fable 5.1), 그리고 공개 피부과 이미지 6만 8천여 장으로 단일 H100 GPU에서 약 20분간 미세조정(파인튜닝)된 10년 전 모델 인셉션 v3였습니다. 세 모델 모두에게 일반 임상 사진과 피부확대경(더모스코피) 사진 두 장을 보여주고 6가지 진단명 중 하나를 고르게 했습니다. 결과는 놀라웠습니다. 최신 프론티어 LLM들은 200개 병변 중 각각 84개(42%), 85개(42%)를 맞히는 데 그쳤으나, 10년 된 CNN 모델은 125개(62%)를 정확히 진단해 LLM들을 큰 차이로 앞질렀습니다. 심지어 치명적인 침윤성 흑색종 사례에서 두 LLM은 단순한 양성 '지루성 각화증'이라며 환자를 그냥 돌려보내도 된다고 오진했으나, 구형 CNN은 흑색종을 정확히 짚어냈습니다. 연구자는 해당 CNN 모델이 웹GPU(WebGPU)를 통해 스마트폰 브라우저에서도 완전히 독립적으로 구동될 만큼 가볍고 작다며, 거대 멀티모달 모델(LLM)이 모든 전문 시각 진단 영역에서 특화된 경량 모델보다 우월한 것은 아님을 보여준다고 설명했습니다.