AI가 중요한 결정을 내렸을 때, 여러분의 조직에서는 누가 그 실행을 멈출 수 있나요?

사람이 AI의 판단과 실행 과정에 참여하는 방식을 ‘Human-in-the-Loop’라고 합니다. 이 방식이 제대로 작동하려면 담당자에게 판단할 근거, 검토할 시간, 결과를 바꿀 권한이 함께 주어져야 합니다.

카드에 담긴 5가지 원칙을 실제 업무에 적용해 보세요.

① 윤리｜AI가 해도 되는 일의 경계를 정하세요.

AI에게 허용할 행동과 금지할 행동을 운영 전에 정합니다. 예외 상황을 누구에게 보고할지, 누가 실행을 거부할 수 있는지도 명확해야 합니다. 거부한 결정에는 이유를 남겨 다음 판단에 활용하세요.

“이 행동을 막을 권한은 누구에게 있나요?”

② 위험관리｜영향이 큰 결정은 실행 전에 확인하세요.

위험이 낮은 반복 업무는 정해진 범위 안에서 자동화하고, 영향이 큰 결정에는 사전 승인이나 추가 검토를 배치합니다.

검토자는 상황과 증거를 먼저, AI의 제안을 그다음에 확인하도록 설계하세요. AI의 답변에 판단이 끌려가는 것을 줄이는 데 도움이 됩니다.

“되돌리기 어려운 행동이 승인 전에 실행되지는 않나요?”

③ 책임성｜중요한 결정에는 책임자를 지정하세요.

누가 승인했는지, 어떤 근거로 판단했는지 기록합니다. 담당자가 증거 부족이나 이상 징후를 발견하면 일시정지·중단·상위 보고를 선택할 수 있어야 합니다.

그 권한이 실제 시스템에서도 작동하는지 확인하세요.

“담당자가 문제를 발견하면 즉시 개입할 수 있나요?”

④ 투명성｜판단 근거와 남은 의문을 보여주세요.

검토자가 알아야 할 것은 해당 결정에 사용된 정보, 근거의 출처, 검토할 대안, 아직 확인되지 않은 부분입니다.

바쁜 상황에서도 이해할 수 있도록 쉬운 말로 제시하세요. 불확실성이 클수록 무엇을 추가로 확인해야 하는지도 분명해야 합니다.

“담당자가 이 결정을 다른 사람에게 설명할 수 있나요?”

⑤ 준수관리｜승인 기록을 배포와 변경에 연결하세요.

배포와 중요한 변경 과정에 필요한 승인을 연결하고, 승인자·시각·결정 내용·판단 이유를 남깁니다.

사고가 발생하거나 시스템과 적용 기준이 바뀌면, 기존의 검토 절차가 여전히 적절한지 다시 확인하세요.

“무엇이 바뀌면 사람의 재검토가 필요한가요?”

중요한 업무 하나부터 시작하세요.

예를 들어, AI가 고객에게 중요한 안내문을 발송하는 업무를 떠올려 보세요. 담당자는 근거 자료와 발송 내용을 확인하고, 필요한 경우 수정하거나 발송을 보류할 수 있어야 합니다.

결정할 사항 → 담당자 → 확인할 증거 → 승인 시점 → 문제 발생 시 보고 경로

이 다섯 가지를 정한 뒤, 오류 상황을 넣어 사람이 실제로 결과를 바꾸거나 실행을 멈출 수 있는지 시험해 보세요.

여러분의 조직에서 사람의 승인 기준을 가장 먼저 명확히 해야 할 AI 업무는 무엇인가요?

— 이춘곤(Mark) · ISC.studio · ISC출판 도서 안내

이 글은 저자의 Facebook에 처음 게시한 글입니다. Facebook 원문 보기