검증할 수 없는 것은 아무것도 신뢰하지 마라

유창함은 정확함을 의미하지 않는다

자동화된 출력물은 옳은지 여부와 관계없이 권위 있는 것처럼 읽힌다. 확신에 찬 잘못된 답변은 명백히 깨진 답변보다 더 위험하다. 왜냐하면 그것은 검증 과정을 건너뛰도록 유혹하기 때문이다. 전문적인 이해관계가 걸린 상황에서는 검증 워크플로우는 선택적인 다듬기가 아니라 본질적인 업무이다.

네 가지 독립적인 검증 방법:

- 출처 추적(Provenance): 각 주장, 숫자, 또는 인용문의 출처는 어디인가? 검사할 수 있는 원천으로 추적하라. 특정 판례, 법률, 연구, 또는 수치를 인용하지만 그 위치를 찾을 수 없는 출력물은 반증이 있을 때까지 허위 조작으로 간주해야 한다.

- 독립적 교차 검증: 결과를 생성한 경로와 다른 경로를 통해 결과를 검증하라. 합계를 수동으로 다시 계산하거나, 쿼리를 직접 실행하거나, 두 번째 시스템에 질문하거나, 알려진 정상 기준값과 대조해 보자. 두 가지 방법이 일치하는 것은 증거이지만, 한 가지 방법이 스스로를 반복하는 것은 증거가 아니다.

- 합리적 한계(Sanity bounds): 답변이 물리적 및 비즈니스 현실이 허용하는 범위 내에 있는가? 추정치, 용량, 하중 수치, 또는 가격이 규모(orders of magnitude)에 대한 기대치를 위반한다면, 계산 과정이 어떻게 읽히든 설명이 있을 때까지 그것은 틀린 것이다.

- 출력물에 대한 레드팀 공격(Red-team the output): 능동적으로 그것을 깨뜨리려 시도하라. 적대적인 심사관, 감사, 또는 상대 측 변호사가 무엇을 공격할지 생각해 보자. 확신에 찬 초안이 간과한 실패 모드를 찾아내라.

검증의 비용은 이해관계의 크기에 따라 달라집니다. 일회성 내부 요약에는 한눈에 보는 것만으로도 충분합니다. 반면 규제 기관, 환자, 또는 법정에 제출되는 숫자는 네 가지 단계와 문서화된 기록이 모두 필요합니다.

고위험 초안 검증

당신은 재무 분석가입니다. 자동화 시스템이 내일 투자위원회에 보고할 인수 건에 대한 가치 평가 메모를 생성했습니다. 이 메모는 대상 기업의 가치를 6억 1,200만 달러로 결론짓고, 세 건의 유사 거래를 인용하며, 22%의 매출 성장을 예측하고, 할인현금흐름(DCF) 모델을 포함하고 있습니다. 문장은 완벽해 보입니다.

도구를 탓할 수 없다

책임은 위임되지 않는다

작업의 생산은 위임할 수 있다. 그러나 그에 대한 책임은 위임할 수 없다. 산출물이 당신의 이름으로 나가는 순간, 그것이 발송하기에 적합했는지를 판단한 전문적 판단은 당신의 것이며, 만약 그렇지 않았다면 그 실패의 책임도 당신의 것이다.

"시스템이 생성한 것이다"라는 말은 고객, 규제 기관, 면허 위원회, 또는 법원이 받아들이는 변명이 되지 않는다. 도구는 취소할 면허도, 잃을 평판도, 고객에 대한 주의 의무도 없다. 당신은 이 세 가지를 모두 가진다. 이 비대칭성이 바로 당신의 서명이 가지는 가치의 전부이다: 당신은 루프 안의 책임 있는 인간이다.

이는 검증을 번거로운 일에서 자기 보호로 재정의한다. 당신이 건너뛸 때마다 그것은 당신이 개인적으로 부담하는 책임이 된다. "시스템으로 돌려보내고 바로 발송했다"는 전문가가 노력을 절약한 것이 아니라, 읽지 않은 문서에 서명한 것이다.

소유권은 또한 중요한 곳에서 공개를 의미한다: 자동화가 1차 초안을 생성했다는 사실을 고객, 동료, 또는 기록이 알 권리가 있는 시점을 아는 것, 그리고 검증되지 않은 기계 산출물을 자신의 숙고된 판단인 것처럼 제시하지 않는 것이다.

자동화 출력이 잘못된 경우

당신은 면허를 가진 구조 엔지니어입니다. 지난 달에 도장(인감 날인)을 하고 봉인한 도면 세트의 하중 지지 보(beam)를 자동화 시스템이 설계했습니다. 이제 주니어 엔지니어가 시스템이 잘못된 하중 조합을 사용하여 보의 크기가 부족하다는 것을 지적하고 있습니다. 도면은 이미 시공사에게 전달된 상태입니다.

위임한 역량 유지하기

직접 할 수 없다면, 감독할 수도 없다

위임에는 조용한 함정이 있다. 기계에게 넘긴 기술은 더 이상 연습하지 않게 되고, 연습하지 않는 기술은 퇴화한다. 수동 비행 연습을 하지 않는 파일럿은 자동 조종기가 고장 났을 때 회복할 감각을 잃는다. 수동으로 모델을 구축해 본 적 없는 분석가는 잘못된 모델을 알아차릴 직관을 잃는다. 위험은 기계가 실패하는 것이 아니라, 기계가 실패했을 때 그것을 잡아낼 역량을 이미 잃어버린 것이다.

이것을 감독의 역설이라 한다. 작업을 자동화에 위임하는 것은 오히려 당신에게 더 많은 기초 역량을 요구한다. 왜냐하면 당신의 남은 업무는 가장 어려운 부분, 즉 출력이 올바른지 판단하고 그렇지 않을 때 직접 개입하는 것이기 때문이다. 더 이상 이해하지 못하는 것을 검증할 수는 없다.

의도적 유지가 이에 대한 대응책이다. 기계가 할 수 있더라도, 핵심 역량을 의도적으로 살아 있게 유지한다:

- 주기적으로 작업을 수동으로 수행하고 자동화 결과와 비교한다. 편차는 어느 방향이든 신호다.

- 직관을 기르는 어려운 연습은 계속 수행하고, 위임할 것은 양(volume)이지 기술이 아니다.

- 정답이 어떻게 구성되는지에 대한 방법론적 사고 모델을 유지하여, 출력물의 숫자만이 아니라 추론 과정의 결함도 식별할 수 있도록 하세요.

목표는 감독을 유지하고, 오류를 포착하며, 필요 시 직접 통제권을 장악할 수 있는 능력을 갖추는 것입니다. 더 빠르게 나아가기 위해 위임하되, 무지한 상태로 두지 마세요.

팀을 위한 역량 유지 계획

대부분의 초안 코드를 생성하는 자동화 시스템을 도입한 소프트웨어 팀을 이끌고 있습니다. 생산성은 향상되었습니다. 하지만 중급 엔지니어들이 스스로 완전히 설명할 수 없는 생성 코드를 점점 더 많이 수용하고 있고, 인턴들은 스택 트레이스를 읽거나 자료 구조에 대해 추론하기 전에 시스템 프롬프트 작성법을 먼저 배우고 있다는 사실을 발견했습니다.

자동화가 관여해서는 안 되는 경우

원칙적으로 인간에게 남아야 하는 업무

위임에는 명확한 한계가 있습니다. 시스템이 그럴듯한 초안을 생성할 수 있더라도, 자동화가 안전하다고 판단할 수 있는 전제 조건이 충족되지 않는 경우 일부 업무는 자동화해서는 안 됩니다. 이러한 경우를 인식하는 것은 언제 위임해야 하는지를 아는 것만큼이나 전문적인 역량입니다.

다음과 같은 경우 자동화하지 마세요:

- 결정이 되돌릴 수 없는 경우. 높은 이해관계가 걸린 일방적인 결정(약물 처방, 법적 제출 기한, 되돌릴 수 없는 재정적 약속 등)은 잘못된 결과물을 되돌릴 수 있는 능력을 박탈합니다. 되돌릴 수 있음은 위임을 용인하게 하는 요소이며, 이것이 없으면 안전망 전체가 사라집니다.

- 상황이 진정으로 모호합니다. 문제가 아직 정의되지 않았거나, 올바른 질문이 불분명하거나, 맥락이 신기하고 분포 밖(off-distribution)인 경우, 자신감 있는 초안은 바로 그 순간에 필요한 판단을 가려 버립니다.

- 도덕적 이해관계가 걸려 있습니다. 해를 배분하거나, 공정성을 저울질하거나, 도덕적 무게를 지닌 결정에는 선택에 내재된 가치에 대해 책임질 수 있는 책임 있는 인간이 필요합니다.

- 관계가 본질입니다. 어려운 대화, 신뢰, 돌봄, 위로, 협상. 관계는 내용의 전달 수단이 아니라 작업 그 자체이며, 현존하는 인간이 필요합니다.

- 출력을 검증할 수 없습니다. 결과가 올바른지 확인할 독립적인 방법이 없다면, 이를 위임하는 것은 효율이 아니라 자신의 이름이 걸린 무책임한 도박입니다.

출시 전 체크리스트

자동화 출력을 출시하기 전에

자동화로 생성된 출력이 내 이름으로 나갈 때마다 실행할 구체적인 기준입니다. 어떤 답변이든 만족스럽지 않다면, 아직 출시할 준비가 되지 않은 것입니다.

1. 출처(Provenance): 모든 주장, 숫자, 인용을 내가 검토했던 출처로 추적할 수 있는가?

2. 독립적 검증: 결과를 생성한 경로와 다른 경로를 통해 검증했는가?

3. 상식적 범위: 답이 현실과 내 도메인 기대치가 허용하는 범위 내에 있는가?

4. 적대적 검토(레드팀): 적대적인 검토자, 감사인, 또는 반대 측이 공격하듯 이 문제를 공격해 보았는가?

5. 위험도와 가역성: 이것이 틀렸을 경우 그 비용은 얼마이며, 되돌릴 수 있는가? 위험도가 높을수록 가역성이 낮을수록 더 많은 검증이 필요하거나, 내가 직접 수행해야 한다.

6. 비자동화 트리거: 이것이 되돌릴 수 없는 것, 진정으로 모호한 것, 윤리적 무게가 있는 것, 관계가 얽힌 것, 또는 검증할 수 없는 것인가? 그렇다면 왜 기계가 이를 다루고 있는가?

7. 역량: 나는 여전히 오류를 찾아내고 직접 대응할 수 있을 만큼 이 문제를 충분히 이해하고 있는가?

8. 소유권: 나는 이것에 서명하고 내 전문적 판단으로서 그 책임을 질 준비가 되어 있는가?

게이트를 실행하라. 그리고 출시하고, 그 결과를 소유하라.

경계 긋기

한 오후 동안 전문가의 책상을 지나가는 네 가지 작업을 생각해 보자: (a) A/B 테스트를 위해 광고 카피 50가지 변형을 생성하는 것, (b) 특정 직원을 위한 해고 통지문의 문구를 작성하는 것, (c) 유입된 200개의 지원 티켓 중 어떤 것이 긴급한지 분류하는 것, 그리고 (d) 새로 발견된 안전 결함을 규제 당국에 공개할지 결정하는 것.

한 페이지에 담긴 플레이북

이제 여러분이 가진 것들

자동화 시스템과 효과적으로 일하는 것은 도구를 단순히 수용하거나 거부하는 반사적 반응이 아니라, 전문적인 역량입니다. 여러분은 이를 위한 판단력을 갖추셨습니다:

- 위임의 구분: 중요도, 되돌릴 수 여부, 검증 가능성, 비교 우위에 따라 업무를 분류합니다. 지루하고 병렬 처리가 가능한 작업은 자동화하고, 판단, 관계, 그리고 책임은 스스로 유지합니다.

- 검증: 유창함은 정확함을 의미하지 않습니다. 출처를 추적하고, 독립적인 경로를 통해 교차 확인하며, 상식적인 한계치에 맞춰 테스트하고, 출력을 레드팀(적대적 검증)으로 검증합니다. 투입하는 노력의 크기는 중요도에 비례해야 합니다.

- 소유권: 여러분이 작업에 서명하는 것이므로, 실패의 책임은 도구가 아닌 여러분에게 있습니다. 건너뛴 모든 검증은 여러분이 개인적으로 부담하는 리스크입니다.

- 기술 유지: 위임하는 핵심 역량도 유지하여 감독을 계속 수행하고, 오류를 포착하며, 필요 시 직접 컨트롤을 잡을 수 있어야 합니다. 더 빠르게 일하기 위해 위임하는 것이지, 무지해지기 위해 위임하는 것이 아닙니다.

- 경계 설정: 되돌릴 수 없는 것, 진정으로 모호한 것, 윤리적 문제, 관계가 얽힌 것, 그리고 검증할 수 없는 것은 자동화하지 않는 것을 거부하지 않습니다.

두 가지 아이디어가 나머지를 이끌어냅니다. 일은 위임하되, 책임은 절대 위임하지 마세요. 그리고 자신의 이름이 들어가는 모든 작업 전에 출시 전 체크리스트를 실행하세요. 자동화된 분야에서 번성하는 전문가들은 도구를 거부하는 사람도, 도구를 맹목적으로 신뢰하는 사람도 아닙니다. 그들은 도구를 잘 감독하는 사람들입니다.