"틀릴 수 있으니 알아서 확인하라고?"… 현직 개발자가 지적한 요즘 AI 챗봇들의 꼼수

요약 현재 챗GPT, 클로드, 제미나이 등 빅테크의 AI 챗봇들은 하단에 'AI는 실수를 할 수 있으니 다시 확인하라'는 식의 깨알 같은 면책 문구만 적어둘 뿐, 실제로 사용자가 검증할 수 있는 기능은 전혀 제공하지 않는다는 비판이 제기되었습니다. 개발자 Glyph는 자신의 블로그를 통해 현세대 AI 제품들이 정작 자기 자신의 한계를 진지하게 마주하지 않고 일종의 눈속임(사기)처럼 기능하고 있다고 지적했습니다. AI가 정보를 신뢰성 있게 전달하지 못한다는 것은 누구나 아는 사실인데, 인터페이스상으로는 사용자에게만 '직접 확인하라'며 책임을 전가하고 검증 도구는 전혀 주지 않는다는 것입니다. 그는 진정으로 '일할 때 쓸 수 있는 진지한 AI 도구'가 되기 위한 핵심 요건으로 '오류 검증의 기본 기능화'를 제시했습니다. 예컨대 LLM의 출력 결과 옆에 체크박스와 사용자의 검증 메모란을 나란히 배치해, 사용자가 팩트체크를 끝내기 전까지는 완료 처리할 수 없도록 강제하는 워크시트 구조가 필요하다고 제안했습니다. 특히 코딩 도우미의 경우, 검토 과정을 생략하고 대충 PR(풀 리퀘스트)을 넘겨버려 코드 리뷰어에게 부담을 떠넘기거나 테스트 컴퓨팅 자원을 낭비하는 어두운 패턴(Dark Pattern)을 방지해야 한다고 덧붙였습니다. 또한 출처 표기 방식의 획기적인 개선도 주문했습니다. 현재 챗봇들은 길게 답하다가 중간에 출처 표시를 생략하거나, 알아보기 힘들 만큼 작은 폰트와 아이콘으로 대충 도메인만 띄우는 경우가 태반입니다. 저자는 리서치 목적의 AI라면 답변을 일방적으로 권위 있게 전달하지 말고 명확한 인용 목록 형태로 제시해야 하며, 작성일자와 저자 등 상세 메타데이터를 큼직하게 보여주어 사용자가 직접 출처를 즉각 검증할 수 있어야 한다고 강조했습니다.