점심의 환상 — 모르는 영역에서 AI가 박사로 보이는 이유

우리는 거의 매일 같은 장면을 목격한다. 동료가 양자컴퓨팅, 신약개발, 우주항공, 14세기 페르시아 문학에 대해 AI와 30분 대화를 나누고 "와, 이거 진짜 박사급이다"라는 인상을 받는다. 정교한 용어, 그럴듯한 인과관계, 한 번도 들어본 적 없는 인물 이름까지. AI가 정말 똑똑해진 것일까.

그렇지 않다. 그 동료는 양자컴퓨팅을 모른다. 페르시아 문학의 핵심 학자 명단을 모른다. 그래서 그럴듯한 이름과 정교한 문장이 "신뢰 가능한 정론"처럼 작동한다. 인간의 인지에 이미 알려진 검증 메커니즘, "이건 의심해야 하는 것 아닌가"라는 자동 경보 시스템이 작동하려면 최소한의 토대가 있어야 한다. 그 토대가 0인 영역에서 AI는 무제한의 권위를 가진다.

게다가 LLM은 언어 자체는 매우 유창하게 다룬다. 문장 구조, 어조, 단어 선택, 논리적 전환 — 이 모든 게 사람의 작문을 모방하도록 학습되어 있다. 결국 우리가 보는 건 "내용의 정확성"이 아니라 "표현의 유창성"이다. 그걸 구분하지 못하면 AI는 영원히 박사로 남는다. 사용자가 모르는 한.

전문가의 분노 — 아는 영역에서 AI가 왜 그렇게까지 허술한가

같은 AI를 같은 사람이 10년 경력의 본업 영역에서 쓴다. 마케팅 카피를 써달라고 한다. 법무 검토를 부탁한다. 데이터 파이프라인 코드를 짜달라고 한다. 결과는 — 솔직히 — 처참하다. 표면은 멀쩡한데, 핵심은 빈다. 디테일을 모르고, 맥락을 무시하고, 업계 최신 사례를 6개월 전 데이터로 답하고, 정확히 그 회사가 절대 쓰지 말아야 할 표현을 자신 있게 제안한다.

왜 이런 일이 벌어지는가. 답은 단순하다. AI는 학습 데이터의 통계적 분포에서 다음 토큰을 예측하는 모델이지, 사실을 검증하거나 새로운 맥락에서 옳은 답을 구성하는 시스템이 아니다. 그래서 학습 데이터에 흔한 패턴 — 흔하지만 옳은 패턴과 흔하지만 틀린 패턴을 구분하지 못한다. 사용자가 그걸 구분할 수 있어야 비로소 AI의 출력이 의미가 있다.

"AI가 틀렸나?" 라고 의심할 수 있는 사람만이 AI를 제대로 쓸 수 있다. 그 의심은 전문성에서 온다.

즉, AI의 산출물이 허술해 보이는 건 AI가 나빠서가 아니라, 내 눈에 보이는 "허술함의 기준"이 생겼기 때문이다. 그 기준이 없으면 그 허술함은 정교함으로 둔갑한다. 어쩌면 우리가 AI를 도구라 부르는 순간 잊어버리는 건, 모든 도구엔 손이 필요하다는 사실이다.

AI는 박사가 아니라 거울이다 — 무엇이 만들어내는 이 차이인가

같은 모델, 같은 입력, 같은 출력인데 평가가 완전히 갈린다. 차이가 나는 건 모델이 아니라 평가자다. 이걸 명확히 정리하면 다음과 같다.

• 판단 베이스라인의 부재 vs 존재: 평가할 기준이 없으면 그럴듯함 = 정확성이다. 평가 기준이 있으면 그럴듯함과 정확성이 분리된다.
• 환각을 잡을 신호의 유무: 전문가는 "이건 잘못됐다"를 즉시 감지한다. 비전문가는 문장의 유창함만 본다.
• 맥락 해석 능력의 격차: AI는 맥락을 단어로 본다. 사람은 맥락을 이해한다. 그 차이가 동일 답변의 "정답/오답"을 가른다.
• 업데이트 시차 인지: 학습 시점 이후의 사실을 모른다. 그걸 모르면 신의료 가이던스, 최신 판례, 신규 제품 스펙을 다룰 때 무의미한 결과를 받는다.

이 모든 게 결국 "평가자의 메타인지 능력"으로 수렴한다. AI는 그 메타인지의 시험대다. 시험관이 없으면 시험은 의미가 없다.

AI는 곱셈기다 — 아는 영역에서 10배를 뽑아내는 법

이제 본론이다. AI는 대체가 아니라 곱셈기다. 사용자 능력이 0이면 결과는 0이다. 사용자 능력이 10이면 AI는 30, 50, 때로는 100을 뽑아낸다. 그 격차를 만드는 건 다음 네 가지다.

모르는 영역에서의 안전 가드레일 — 어쩔 수 없을 때 쓰는 법

분명 모르는 영역에서 AI를 써야 할 때도 있다. 그럴 때 사고를 피하려면 다음 세 가지가 필수다.

• 1차 출처 요청 강제: "출처가 없는 주장은 답변에서 제외해라"라는 제약을 명시한다. 그래도 환각이 섞이지만 최소한의 검출 단서가 생긴다.
• 교차 검증: 같은 질문을 다른 모델, 다른 표현으로 두 번 던져본다. 답이 갈리면 둘 다 의심한다.
• 전문가 라우팅: 의사결정 임계값이 있는 주제 — 의료, 법률, 회계, 계약 — 는 어차피 전문가 검토가 필수다. AI는 초안 작성까지만 맡기고 결정은 사람에게 둔다.

모르는 영역에서의 AI 활용은 "박사한테 묻는 것"이 아니라 "잘 정리된 검색엔진 + 초안 생성기"로 다루는 게 안전하다.

리더와 조직에 대한 함의 — AI 도입은 도구 도입이 아니라 역량 진단이다

이 원리를 조직에 그대로 적용하면 단단한 결론이 나온다. AI 도입은 "도구를 사는 일"이 아니라 "조직의 판단력 분포를 진단하는 일"이다. 판단력이 낮은 조직이 AI를 도입하면, 그 조직의 판단력은 그대로인데 산출물의 양만 폭증한다. 그 양이 조직 전체에 잘못된 신호로 전파되면 — 의사결정의 정확성은 떨어지고 속도만 올라간다.

반대로 판단력이 높은 조직은 AI를 곱셈기로 쓴다. 한 사람의 깊은 검토를 10개의 변종으로 분기하고, 그 변종을 다시 사람이 평가해서 하나로 수렴시킨다. 속도와 정확성이 동시에 올라간다. AI 도입의 진짜 승부는 모델이 아니라 사용자 풀의 평균 역량에서 갈린다.

그래서 다음 분기에 "AI 툴을 더 살 것인가"를 묻기 전에 "우리 팀이 AI 결과를 평가할 수 있는가"를 먼저 묻는 게 맞다. 도구는 거기에 맞추면 된다.

자주 묻는 질문

Q1. 그럼 결국 AI를 잘 쓰려면 전문가가 되어야 한다는 건가요?

모든 영역에서 전문가일 필요는 없다. 다만 결과를 평가할 수 있는 최소한의 메타인지 — 출처 확인, 사실 검증, 의심의 출발점 — 는 필요하다. 그 최소치가 있어야 AI가 그럴듯한 거짓을 뱉을 때 그것을 거짓으로 부를 수 있다.

Q2. 모르는 영역에서는 AI를 쓰면 안 되나요?

초안 작성, 용어 정리, 개요 잡기 등 "검증이 가능한 출력"으로 한정하면 충분히 유용하다. 의사결정, 계약, 의료·법률 검토처럼 임계값이 있는 영역에서는 초안 단계 이후 반드시 전문가 검토를 거쳐야 한다.

Q3. AI가 발전하면 이런 문제도 사라지나요?

환각과 맥락 한계는 모델 성능 향상으로 줄어들지만, "사용자가 모르는 상태에서 그럴듯함을 신뢰해버리는 인지적 편향"은 모델과 무관하게 남는다. 도구가 좋아져도 사용자가 변하지 않으면 같은 함정에 빠진다.

Q4. 조직 차원에서 어떻게 대비해야 하나요?

AI 툴 도입 예산보다 사용자 풀의 평가 역량을 키우는 교육·루틴에 먼저 투자해야 한다. 프롬프트 교육, 환각 검증 워크플로우, 결과물 리뷰 단계 강제 — 이 세 가지가 모델 선정보다 ROI가 높다.