検証できないものは何一つ信用するな

流暢であることは、正確であることではない

自動生成された出力は、正し与否にかかわらず、権威あるものとして読まれる。自信満々な誤答は、明らかに壊れたものよりも危険である。なぜなら、それは検証を省略するよう誘導するからである。プロフェッショナルな利害が関わる場面では、検証ワークフローは任意の磨き上げではなく、まさにその仕事そのものである。

4つの独立した検証手法:

- 出典（Provenance）: 各主張、数値、引用はどこから来たのか？ 検査可能なソースまで追跡すること。特定できない判例、法律、研究、数値を引用する出力は、それらが証明されるまで捏造とみなすべきである。

- 独立したクロスチェック: 結果を、それを生成した経路とは異なる経路で検証すること。合計を手計算で再計算する、クエリを自分で実行する、第2のシステムに問い合わせる、既知の正解リファレンスと照合する、など。2つの手法が一致することは証拠だが、1つの手法が自身を繰り返すだけでは証拠にならない。

- 妥当性の境界（Sanity bounds）: 答えは、物理的・ビジネスの現実が許容する範囲内にあるか？ 推定値、用量、負荷値、価格が桁の期待値に反している場合、計算がどのように読めるかに関係なく、説明がなされるまで誤りである。

- 出力のレッドチーム（Red-team）: 積極的にそれを壊そうとすること。敵対的なレビュアー、監査人、または相手方弁護士がどこを攻撃するかを問う。自信満々なドラフトが軽視している失敗モードを探すこと。

検証のコストは、その重要性（ステーク）に比例して変動します。使い捨ての社内サマリーには一瞥で十分ですが、規制当局、患者、または裁判所に提出する数値には、4つのステップすべてと記録（ペーパートレイル）が必要です。

高リスクなドラフトの検証

あなたは財務アナリストです。自動化されたシステムが、明日投資委員会に提出する買収案件のバリュエーションメモを生成しました。このメモでは、対象企業の価値を6億1,200万ドルと結論づけ、3件の類似取引を引用し、22%の売上高成長を予測し、割引キャッシュフロー（DCF）モデルを含んでいます。文章は完璧に読み取れます。

ツールを責めることはできない

説明責任は委任できない

作業の生産は委任できます。しかし、その責任は委任できません。あなたの名前で成果物が外部に出る場合、それが送信に適しているという専門的な判断はあなたのものであり、そうでなかった場合の失敗もまたあなたのものであります。

「システムが生成したものだ」という言い訳は、クライアント、規制当局、免許審査委員会、あるいは裁判所が受け入れるものではありません。ツールには取り消せる免許も、失う評判も、顧客に対する注意義務もありません。それら3つをすべて持っているのはあなたです。この非対称性が、あなたの署名に価値がある唯一の理由です。あなたはループ内の説明責任を負う人間だからです。

これにより、検証は面倒な作業から自己防衛へと再定義されます。あなたがスキップする各チェックは、あなたが個人的に引き受ける負債です。「システムに通して出荷した」と言う専門家は、労力を節約したのではなく、読んだことのない文書に署名したに過ぎません。

所有権（オーナーシップ）とは、重要な箇所で開示することでもあります。自動化が最初の草案を作成したことを、クライアント、同僚、または記録が知る権利を持つことを認識し、未検証の機械出力を自分の熟考された判断として提示しないことです。

自動出力が誤っている場合

あなたは登録構造設計技術者です。先月、あなたが印鑑（スタンプ）を押して承認した図面セットの荷重支持梁のサイズを、ある自動化システムが算出していました。しかし、ジュニアエンジニアが、そのシステムが誤った荷重組合せを使用しており、梁のサイズが不足していることを指摘してきました。図面はすでに請負業者の手に渡っています。

委譲した能力を維持する

自分でできないことは、監督もできない

委譲には静かな罠がある。マシンに引き渡したスキルは、あなたが練習を止めるスキルとなり、練習を止めたスキルは衰退する。手動で飛行を一切行わないパイロットは、オートパイロットが故障した際に回復するための感覚を失う。手作業でモデルを構築したことがないアナリストは、誤ったモデルを見抜く直感を失う。危険なのは、マシンが故障すること自体ではなく、マシンが故障した際にそれを検知するための能力を失っていることである。

これは監督のパラドックスである。タスクを自動化に委譲することは、あなたにより多くの基礎的なスキルを要求する。なぜなら、残された仕事は最も難しい部分であり、出力が正しいかを判断し、正しくない場合に引き継ぐことだからである。もはや理解していないものを検証することはできない。

意図的な保持がその対策である。マシンが実行できるにもかかわらず、あなたは意図的にコアコンピテンシー（中核能力）を維持しておく：

- 定期的に手作業でタスクを実行し、自動化された結果と比較する。乖離は、どちらの方向でもシグナルである。

- 直感を構築する難しい反復練習（ハードレップス）を継続する。スキルではなく、量を委譲する。

- 正解がどのように構築されるかというメタモデルを維持し、出力の推論が不合理である場合と、単に数値が異なる場合とを区別できるようにしておくこと。

目標は、監督し、エラーを発見し、制御を奪い戻す能力を維持することです。盲目になるためではなく、速くなるために委譲してください。

チームのための能力維持プラン

あなたは、大半の初稿コードを自動生成するシステムを導入したソフトウェアチームを率いています。生産性は向上しました。しかし、中堅エンジニアが完全に説明できない生成コードをますます受け入れ、インターンはスタックトレースを読んだりデータ構造について推論したりする前に、システムへのプロンプト作成を学ぶようになっていることに気づいています。

自動化が触れてはならないケース

原則として人間が担い続けるべき仕事

委任には明確な限界があります。システムが妥当な下書きを生成できる場合でも、自動化が安全であるための条件が欠如しているため、自動化すべきでない仕事があります。これらのケースを認識することは、いつ委任すべきかを知ることと同じくらい専門的な判断です。

以下のような場合は、自動化しないでください：

- 決定が不可逆である場合。 高リスクな「片道ドア」（投薬指示、法的提出期限、不可逆的な財務上のコミットメントなど）は、不適切な出力を取り消す能力を奪います。可逆性が委任を許容可能にする要素であり、それがなければ、安全網は完全に失われます。

- 状況は本質的に曖昧である。 問題がまだ枠組みを持たず、正しい問いが不明確である場合、あるいは文脈が新しすぎて分布外（off-distribution）である場合、自信満々な下書きは、まさにその瞬間に必要とされる判断を覆い隠してしまう。

- 懸念事項は倫理的である。 害の配分、公平性の衡量、道徳的責任を伴う決定には、選択に埋め込まれた価値に対して説明責任を果たせる、責任を持つ人間が不可欠である。

- 関係性が本質である。 困難な対話、信頼、ケア、弔辞、交渉。関係性はコンテンツを届けるための単なる伝達手段ではなく、それ自体が仕事であり、そこに現れる人間が必要とされる。

- 出力を検証できない。 結果が正しいかどうかを独立して確認する手段がない場合、それを委譲することは効率化ではなく、あなたの名前を賭けた無責任なギャンブルである。

リリース前のチェックリスト

自動化された出力をリリースする前に

自動化によって生成された出力をあなたの名前で公開するたびに実行すべき具体的なゲート（基準）です。いずれかの回答が不十分であれば、リリース準備はできていません。

1. 出典（Provenance）: すべての主張、数値、引用を、私が確認したソースにまで遡って追跡できるか？

2. 独立した検証: 結果を、それを生み出した経路とは異なる経路で検証したか？

3. 妥当性の範囲: 答えは、現実および私のドメインの期待が許容する範囲内に収まっているか？

4. レッドチーム（敵対的レビュー）: 敵対的なレビュアー、監査人、または反対側がどのように攻撃するかを想定して、この点に攻撃を加えたか？

5. リスクと可逆性: もしこれが間違っていた場合、そのコストはどれくらいか、そして取り消すことは可能か？リスクが高く可逆性が低いほど、より多くの検証が必要になるか、あるいは自分で検証する必要がある。

6. 自動化禁止のトリガー: これは不可逆的か、真に曖昧か、倫理的な重みがあるか、関係性を伴うか、検証不能か？もしそうであれば、なぜ機械がこれに関わっているのか？

7. 能力: 私はまだ十分に理解しているか、エラーを発見し、引き継ぐことができるか？

8. 所有権（責任）: 私はこれに署名し、自分の専門的判断として責任を引き受ける準備ができているか？

ゲートを実行する。その後、リリースし、責任を持つこと。

境界線の引き方

ある専門家のデスクに、ある午後の間に4つのタスクが舞い込むと想像してください。(a) A/Bテスト用の広告コピーのバリエーションを50件生成すること、(b) 特定の従業員向けの解雇通知の文言を起草すること、(c) 200件の受信サポートチケットのうち、緊急度の高いものをトリアージ（優先順位付け）すること、(d) 新たに発見された安全性上の欠陥を規制当局に開示するかどうかを決定すること。

1ページでわかるプレイブック

あなたが今手にしているもの

自動化システムと効果的に連携することは、ツールを単純に受け入れるか拒否するかという反射的な反応ではなく、専門的な規律です。あなたはそれに対応する判断力を身につけました：

- 委任の分割: 利害関係、可逆性、検証可能性、比較優位性によって作業を分類します。退屈で並列処理可能な作業は自動化し、判断、人間関係、そして責任は人間が保持します。

- 検証: 流暢であることは、正確であることではありません。出所を追跡し、独立した経路でクロスチェックし、健全性の境界に対してテストし、出力に対してレッドチーム（攻撃的検証）を行います。努力の規模は利害関係の大きさに合わせて調整します。

- 所有権（責任）: あなたが作業に署名（責任を負う）するため、失敗はあなたのものであり、ツールのものではありません。スキップされたチェックはすべて、あなたが個人的に引き受ける負債です。

- スキル維持: 委任するコアコンピテンシー（中核的な能力）を保持し、監督、エラーの検出、そして制御の引き継ぎが可能であり続けるようにします。盲目になるためではなく、速くなるために委任します。

- 境界線: 不可逆なもの、真に曖昧なもの、倫理的なもの、人間関係に関わるもの、そして検証不可能なものを自動化することから断固として拒否します。

残りの部分を支える2つの考え方があります。作業は委譲するが、責任は決して委譲しないこと。 そして自分の名前をかける前に、リリース前チェックリストを実行すること。 自動化された分野で活躍するプロフェッショナルは、ツールに抵抗する者でも、それを盲目的に信頼する者でもありません。彼らは、ツールを適切に監督する者です。