Đừng tin bất cứ điều gì mà bạn không thể kiểm chứng

Thông thạo không có nghĩa là chính xác

Đầu ra tự động luôn đọc lên mang tính thẩm quyền, bất kể nó đúng hay sai. Một câu trả lời sai nhưng đầy tự tin nguy hiểm hơn một câu trả lời sai hiển nhiên, vì nó khiến bạn bỏ qua bước kiểm tra. Trong các tình huống có rủi ro chuyên nghiệp, quy trình xác minh không phải là sự đánh bóng tùy chọn; đó chính là công việc.

Bốn bước xác minh độc lập:

- Nguồn gốc: mỗi tuyên bố, con số, hoặc trích dẫn đến từ đâu? Truy xuất nó về một nguồn mà bạn có thể kiểm tra. Một đầu ra trích dẫn một án lệ, một đạo luật, một nghiên cứu, hoặc một con số mà bạn không thể tìm thấy là một sự bịa đặt cho đến khi được chứng minh là có thật.

- Kiểm tra chéo độc lập: xác minh kết quả bằng một con đường khác với con đường đã tạo ra nó. Tính lại tổng bằng tay, tự chạy truy vấn, hỏi một hệ thống thứ hai, hoặc đối chiếu với một tham chiếu đã biết là tốt. Hai phương pháp đồng thuận là bằng chứng; một phương pháp lặp lại chính nó thì không phải.

- Giới hạn hợp lý: câu trả lời có nằm trong khoảng mà thực tế vật lý và kinh doanh cho phép không? Một ước tính, liều lượng, con số tải trọng, hoặc giá cả vi phạm kỳ vọng về bậc độ lớn là sai cho đến khi được giải thích, bất kể phép tính đọc lên như thế nào.

- Đội đỏ (Red-team) đầu ra: chủ động cố gắng phá vỡ nó. Hãy hỏi xem một người xem xét đối thủ, một kiểm toán viên, hoặc luật sư đối phương sẽ tấn công vào đâu. Tìm kiếm chế độ thất bại mà bản nháp đầy tự tin đã lướt qua.

Chi phí xác minh tỷ lệ thuận với mức độ rủi ro. Một bản tóm tắt nội bộ dùng một lần chỉ cần liếc qua. Một con số được trình bày trước cơ quan quản lý, bệnh nhân hoặc tòa án đòi hỏi cả bốn bước và một hồ sơ giấy tờ đầy đủ.

Xác minh bản nháp có rủi ro cao

Bạn là một nhà phân tích tài chính. Một hệ thống tự động tạo ra một bản ghi nhớ định giá cho thương vụ mua lại mà công ty bạn sẽ trình bày trước ủy ban đầu tư vào ngày mai. Bản ghi nhớ kết luận rằng mục tiêu có giá trị 612 triệu đô la, trích dẫn ba giao dịch tương đương, dự báo tăng trưởng doanh thu 22% và bao gồm một mô hình dòng tiền chiết khấu. Nó đọc lên hoàn hảo.

Công Cụ Không Thể Bị Trách

Trách nhiệm giải trình không thể ủy quyền

Bạn có thể ủy quyền việc sản xuất công việc. Bạn không thể ủy quyền trách nhiệm đối với nó. Khi đầu ra được phát hành dưới tên của bạn, phán đoán chuyên môn rằng nó đủ điều kiện để gửi đi là của bạn, và sự thất bại nếu nó không đủ điều kiện cũng là của bạn.

"Hệ thống đã tạo ra nó" không phải là lời biện hộ mà khách hàng, cơ quan quản lý, hội đồng cấp phép, hoặc tòa án sẽ chấp nhận. Công cụ không có giấy phép để thu hồi, không có danh tiếng để mất, và không có nghĩa vụ chăm sóc đối với khách hàng của bạn. Bạn có cả ba. Sự bất đối xứng đó chính là lý do toàn bộ khiến chữ ký của bạn có giá trị: bạn là con người chịu trách nhiệm trong vòng lặp.

Điều này định vị lại việc xác minh từ một công việc nhàm chán thành sự tự bảo vệ. Mỗi kiểm tra bạn bỏ qua là một rủi ro mà bạn cá nhân gánh chịu. Người chuyên nghiệp nói "Tôi đã chạy nó qua hệ thống và phát hành" đã không tiết kiệm công sức; họ đã ký một tài liệu mà họ không đọc.

Sở hữu cũng có nghĩa là công bố khi cần thiết: biết khi nào một khách hàng, một đồng nghiệp, hoặc một hồ sơ có quyền được biết rằng tự động hóa đã tạo ra bản nháp đầu tiên, và không bao giờ trình bày đầu ra máy chưa được xác minh như phán đoán có suy xét của chính bạn.

Khi Kết Quả Tự Động Sai Lầm

Bạn là một kỹ sư kết cấu có giấy phép hành nghề. Một hệ thống tự động đã tính toán kích thước cho một dầm chịu lực trong bộ bản vẽ mà bạn đã đóng dấu và phê duyệt vào tháng trước. Một kỹ sư trẻ hiện nay đã phát hiện ra rằng hệ thống đã sử dụng tổ hợp tải trọng sai, và dầm đó có kích thước nhỏ hơn yêu cầu. Các bản vẽ đã được chuyển cho nhà thầu.

Giữ vững năng lực mà bạn đã ủy quyền

Nếu bạn không thể làm, bạn không thể giám sát

Có một cái bẫy thầm lặng trong việc ủy quyền: những kỹ năng bạn giao cho máy móc chính là những kỹ năng bạn ngừng thực hành, và những kỹ năng ngừng thực hành sẽ suy thoái. Một phi công không bao giờ tự lái sẽ mất đi cảm giác cần thiết để xử lý khi hệ thống tự động hóa bị hỏng. Một nhà phân tích không bao giờ tự tay xây dựng mô hình sẽ mất đi trực giác để nhận ra một mô hình sai. Mối nguy hiểm không nằm ở việc máy móc thất bại; mà là khi nó thất bại, bạn đã mất đi năng lực để phát hiện ra điều đó.

Đây là nghịch lý của sự giám sát. Việc ủy quyền một tác vụ cho tự động hóa đòi hỏi bạn phải có nhiều kỹ năng nền tảng hơn, chứ không phải ít hơn, vì công việc còn lại của bạn là phần khó khăn nhất: đánh giá xem kết quả có chính xác hay không, và tiếp quản khi nó không chính xác. Bạn không thể xác minh những gì bạn không còn hiểu.

Giữ chủ động là biện pháp đối phó. Bạn cố ý duy trì năng lực cốt lõi, ngay cả khi máy móc có thể làm được:

- Định kỳ thực hiện tác vụ bằng tay và so sánh với kết quả tự động hóa. Sự khác biệt là một tín hiệu, theo bất kỳ hướng nào.

- Tiếp tục thực hiện các bài tập khó để xây dựng trực giác; ủy quyền khối lượng công việc, chứ không phải kỹ năng.

- Duy trì mô hình nhận thức về cách một câu trả lời đúng được xây dựng, để bạn có thể nhận ra khi lập luận của đầu ra không hợp lý, chứ không chỉ là con số của nó.

Mục tiêu là duy trì khả năng giám sát, phát hiện lỗi và tiếp quản quyền điều khiển. Giao quyền để đi nhanh hơn, không phải để đi trong mù mịt.

Một Kế hoạch Duy trì cho Đội ngũ của Bạn

Bạn dẫn dắt một đội ngũ phần mềm đã áp dụng một hệ thống tự động để tạo ra phần lớn mã nguồn bản nháp đầu tiên. Năng suất đã tăng. Nhưng bạn nhận thấy các kỹ sư cấp trung ngày càng chấp nhận mã được tạo ra mà họ không thể giải thích hoàn toàn, và các thực tập sinh đang học cách đưa ra yêu cầu (prompt) cho hệ thống trước khi họ có thể đọc một vết chồng (stack trace) hoặc suy luận về một cấu trúc dữ liệu.

Những trường hợp tự động hóa không nên can thiệp

Một số công việc vẫn thuộc về con người theo nguyên tắc

Việc ủy quyền có một ranh giới cứng. Một số công việc không nên được tự động hóa ngay cả khi một hệ thống có thể tạo ra bản nháp hợp lý, bởi vì chính các điều kiện khiến tự động hóa trở nên an toàn lại không tồn tại. Nhận diện được những trường hợp này cũng là một kỹ năng chuyên môn quan trọng như việc biết khi nào nên ủy quyền.

Không nên tự động hóa khi:

- Quyết định là không thể đảo ngược. Một cánh cửa một chiều với rủi ro cao (lệnh kê đơn thuốc, hạn chót nộp hồ sơ pháp lý, một cam kết tài chính không thể thu hồi) tước đi khả năng của bạn trong việc hoàn tác một kết quả sai. Khả năng đảo ngược là yếu tố khiến việc ủy quyền trở nên bao dung; khi thiếu đi yếu tố này, toàn bộ lưới an toàn sẽ biến mất.

- Tình huống thực sự mơ hồ. Khi vấn đề chưa được định khung, khi câu hỏi đúng đắn chưa rõ ràng, hoặc khi bối cảnh mới mẻ và nằm ngoài phân phối dữ liệu, một bản nháp tự tin sẽ che lấp chính xác sự phán đoán mà khoảnh khắc đó đòi hỏi.

- Hệ lụy mang tính đạo đức. Những quyết định phân bổ thiệt hại, cân nhắc sự công bằng, hoặc mang trọng lượng đạo đức đòi hỏi một con người có trách nhiệm, người có thể phải chịu trách nhiệm về các giá trị được nhúng trong lựa chọn đó.

- Mối quan hệ là bản chất. Những cuộc trò chuyện khó khăn, sự tin tưởng, sự chăm sóc, lời chia buồn, đàm phán. Mối quan hệ không phải là kênh phân phối nội dung; nó chính là công việc, và nó cần một con người hiện diện.

- Bạn không thể xác minh đầu ra. Nếu bạn không có cách độc lập nào để kiểm tra xem kết quả có đúng hay không, việc ủy quyền cho nó không phải là hiệu quả; đó là cá cược không trách nhiệm với chính tên tuổi của bạn.

Danh sách kiểm tra trước khi phát hành

Trước khi tôi phát hành đầu ra tự động

Một rào cản cụ thể để thực hiện mỗi lần đầu ra được tạo ra bằng tự động hóa được phát hành dưới tên của bạn. Nếu bất kỳ câu trả lời nào không thỏa đáng, bạn chưa sẵn sàng để phát hành.

1. Nguồn gốc: tôi có thể truy vết mọi tuyên bố, con số và trích dẫn đến một nguồn mà tôi đã kiểm tra không?

2. Kiểm tra độc lập: Tôi đã xác minh kết quả bằng một phương pháp khác với phương pháp tạo ra nó chưa?

3. Giới hạn hợp lý: Kết quả có nằm trong khoảng cho phép bởi thực tế và kỳ vọng về lĩnh vực của tôi không?

4. Đối kháng (Red-team): Tôi đã tấn công vấn đề này theo cách mà một người xem xét đối thủ, kiểm toán viên hoặc bên phản đối sẽ làm chưa?

5. Rủi ro và khả năng đảo ngược: Nếu điều này sai, chi phí là bao nhiêu và tôi có thể hoàn tác được không? Rủi ro càng cao và khả năng đảo ngược càng thấp thì càng đòi hỏi nhiều kiểm tra hơn, hoặc đòi hỏi tôi phải tự thực hiện việc kiểm tra đó.

6. Các yếu tố kích hoạt không tự động hóa: Điều này có không thể đảo ngược, thực sự mơ hồ, mang tính đạo đức, liên quan đến quan hệ, hoặc không thể xác minh không? Nếu có, tại sao một máy móc lại chạm đến nó?

7. Năng lực: Tôi có còn hiểu đủ rõ về điều này để phát hiện lỗi và tiếp quản không?

8. Trách nhiệm sở hữu: Tôi đã sẵn sàng ký xác nhận và chịu trách nhiệm cho điều này như một phán đoán chuyên môn của chính mình chưa?

Chạy cổng kiểm soát. Sau đó, phát hành và chịu trách nhiệm cho nó.

Vạch Ranh Giới

Hãy xem xét bốn nhiệm vụ mà một chuyên gia phải xử lý trong một buổi chiều: (a) tạo ra năm mươi biến thể của nội dung quảng cáo để kiểm thử A/B, (b) soạn thảo nội dung thông báo sa thải dành cho một nhân viên cụ thể, (c) phân loại xem những ticket hỗ trợ nào trong số 200 ticket đến là khẩn cấp, và (d) quyết định xem có nên công bố một khiếm khuyết an toàn mới được phát hiện cho cơ quan quản lý hay không.

Sách hướng dẫn trong một trang

Những gì bạn đang mang theo

Làm việc hiệu quả với các hệ thống tự động hóa là một kỷ luật chuyên môn, không phải là phản xạ để chấp nhận hay bác bỏ công cụ. Bạn đã xây dựng được năng lực phán đoán cho điều đó:

- Phân chia ủy quyền: phân loại công việc dựa trên mức độ rủi ro, khả năng đảo ngược, khả năng kiểm chứng và lợi thế so sánh. Tự động hóa những phần tẻ nhạt và có thể chạy song song; giữ lại phần phán đoán, các mối quan hệ và trách nhiệm giải trình.

- Kiểm chứng: thông thạo không có nghĩa là chính xác. Truy xuất nguồn gốc, đối chiếu bằng một phương pháp độc lập, kiểm tra dựa trên các giới hạn hợp lý và tấn công thử nghiệm (red-team) kết quả đầu ra. Điều chỉnh mức độ nỗ lực theo mức độ rủi ro.

- Sở hữu: bạn ký tên vào công việc, nên sự thất bại là của bạn, không phải của công cụ. Mọi bước kiểm tra bị bỏ qua đều là một khoản nợ mà bạn phải tự gánh chịu.

- Giữ vững kỹ năng: duy trì năng lực cốt lõi mà bạn ủy quyền, để bạn vẫn có khả năng giám sát, phát hiện lỗi và tiếp quản điều khiển. Ủy quyền để đi nhanh hơn, không phải để đi trong mù mịt.

- Giới hạn: từ chối tự động hóa những gì không thể đảo ngược, những gì thực sự mơ hồ, những vấn đề đạo đức, những mối quan hệ cần duy trì và những gì không thể kiểm chứng.

Hai ý tưởng sẽ dẫn dắt phần còn lại. Giao quyền thực hiện công việc, nhưng không bao giờ giao quyền chịu trách nhiệm. Và thực hiện danh sách kiểm tra trước khi phát hành trước khi tên của bạn được gắn lên bất kỳ sản phẩm nào. Những chuyên gia thành công trong một lĩnh vực tự động hóa không phải là những người chống lại các công cụ, cũng không phải những người tin tưởng chúng một cách mù quáng; họ là những người giám sát chúng một cách hiệu quả.