폴 그레이엄의 '차별 검증 통계 공식'이 틀렸다고 저격한 글

요약 실리콘밸리의 유명 투자자이자 와이콤비네이터의 창업자인 폴 그레이엄(Paul Graham)이 제안했던 '편향 검증 통계 모델'의 수학적 허점을 지적한 분석 글이 관심을 모았습니다. 폴 그레이엄은 선발 과정에서 지원자 풀(Input)의 구성을 정확히 알 수 없을 때 편향을 감별하는 방법으로 '선발된 집단 간 평균 성과 비교'를 제안했습니다. 예를 들어 특정 집단에 대한 차별이 존재한다면, 그 집단 출신은 합격 기준선이 더 높았을 것이므로 최종 선발된 이들의 평균 성과가 다른 집단보다 월등히 높아야 한다는 논리였습니다. 하지만 통계 전문가 크리스 스투키오(Chris Stucchio)는 해커뉴스 유저(WildUtah)의 반례를 인용하며 이 모델의 치명적인 결함을 짚었습니다. 지원자 집단마다 본래 능력치의 분포(분산)가 다를 수 있기 때문입니다. 만약 합격 기준선(예: 80점)이 동일하더라도, 한 집단은 극상위권(90~100점) 인재가 많고 다른 집단은 80~90점에 몰려 있다면, 선발 과정에 아무런 편향이 없었음에도 불구하고 전자의 합격자 평균 점수가 훨씬 높게 나오게 됩니다. 즉, '평균'을 비교 지표로 삼으면 극상위권의 성적이 전체 평균을 왜곡해 마치 편향이 존재하는 것 같은 착시를 일으킵니다. 필자는 편향을 올바르게 검증하려면 전체 '평균 성과'가 아니라 합격선 바로 근처에 위치한 '한계 성과(Marginal Performance)', 즉 각 집단에서 가장 낮은 성적으로 합격한 최하위자의 실적(최솟값)을 비교하는 빈도주의 가설 검정 모델을 구축해야 한다고 설명했습니다.