아래처럼 구성하면 현재 카드의 10개 통제영역은 그대로 유지하면서, ISC 독자가 “왜 필요한가 → 무엇을 통제하는가 → 무엇을 확인해야 하는가”를 빠르게 이해할 수 있습니다. 특히 ISO 심사원, 정보보안 담당자, AI 개발자, 경영진이 함께 읽을 수 있도록 기술 용어와 경영시스템 용어의 균형을 맞췄습니다.

🔐 AI 보안 10대 통제

ISO/IEC 27001:2022 × ISO/IEC 42001:2023 통합 AI 보안 프레임워크

AI는 빠르게 도입하되, 보안과 거버넌스는 더 빠르게 구축하십시오.

생성형 AI에서 AI Agent로 발전하면서 보안의 대상도 달라지고 있습니다.

과거에는 사용자와 시스템의 접근을 통제하는 것이 중요했다면, 이제는 AI가 어떤 데이터에 접근하고 → 무엇을 판단하고 → 어떤 도구를 호출하고 → 무엇을 실행했는지까지 관리해야 합니다.

따라서 AI 보안은 단순한 기술적 방어가 아니라,

Governance + Security + Data + Human Oversight + Traceability

를 하나의 통제체계로 연결하는 것이 핵심입니다.

01. AI 거버넌스 & 정책

“AI 사용의 원칙과 책임부터 명확히 하라.”

AI를 도입하기 전에 조직의 AI 사용 원칙, 책임과 권한, 승인절차, 금지행위, 위험수용 기준을 정의해야 합니다.

누가 AI 도입을 승인하는지, 누가 위험을 평가하는지, 사고 발생 시 누가 책임지는지가 명확해야 합니다.

핵심 통제

AI Policy → 역할·책임 → 승인체계 → 위험수용 기준 → 정기 검토

대표 증적

AI 정책 · RACI · AI Governance Committee · 승인기록 · 위험관리 기준

ISO Mapping

ISO/IEC 27001 → A.5.1, A.5.2

ISO/IEC 42001 → A.2, A.3

AI Governance Starts with Accountability.

02. AI 자산 & Shadow AI 관리

“모르는 AI는 통제할 수 없다.”

공식적으로 도입한 AI만 관리해서는 충분하지 않습니다.

임직원이 개인 계정이나 승인되지 않은 SaaS AI를 업무에 사용하는 Shadow AI까지 찾아내야 합니다.

생성형 AI, LLM, AI Agent, 모델, API, 데이터셋, RAG, 플러그인 등을 AI Inventory로 관리합니다.

핵심 통제

AI 발견 → 자산등록 → 소유자 지정 → 승인/비승인 구분 → 정기 검토

대표 증적

AI Inventory · Model Register · API Register · Shadow AI 조사기록

ISO Mapping

ISO/IEC 27001 → A.5.9

ISO/IEC 42001 → A.4

Know Your AI Before You Secure It.

03. 접근통제 & 최소권한

“AI에게도 필요한 권한만 허용하라.”

AI Agent가 이메일, ERP, CRM, DB, Cloud, 파일 시스템에 연결되면 하나의 강력한 Machine Identity처럼 행동할 수 있습니다.

따라서 사람과 마찬가지로 AI에도 최소권한 원칙을 적용해야 합니다.

IAM → MFA → RBAC → Least Privilege → 정기 권한검토

특히 데이터 삭제, 송금, 계정 생성, 관리자 권한 변경과 같은 고위험 기능은 별도로 제한합니다.

대표 증적

IAM 정책 · RBAC Matrix · MFA 설정 · Privileged Access Log · 권한검토 기록

ISO Mapping

ISO/IEC 27001 → A.5.15, A.5.16, A.5.18, A.8.5

ISO/IEC 42001 → A.3, A.4

Never Trust. Always Verify.

04. AI 데이터 보호

“AI가 모든 데이터를 볼 필요는 없다.”

AI의 성능을 높인다는 이유로 모든 기업 데이터를 연결해서는 안 됩니다.

데이터를 공개 / 내부 / 기밀 / 개인정보 / 중요정보 등으로 분류하고 AI가 접근할 수 있는 범위를 결정해야 합니다.

입력 데이터뿐 아니라 학습 데이터, RAG 문서, Vector DB, 출력 데이터까지 관리합니다.

핵심 통제

분류 → 최소수집 → 접근제한 → 마스킹 → 전송·저장 보호 → 삭제

대표 증적

Data Classification · Data Lineage · Dataset Register · DLP Log · Masking 기록

ISO Mapping

ISO/IEC 27001 → A.5.12, A.5.14, A.8.11, A.8.12

ISO/IEC 42001 → A.7

Protect Data Before Prompting AI.

05. AI 위험평가 & 영향평가

“배포하기 전에 무엇이 잘못될 수 있는지 평가하라.”

AI의 기능만 검증해서는 충분하지 않습니다.

보안 위험 + 개인정보 위험 + 편향 + 환각 + 오용 + 사회적 영향 + Agent 오작동을 함께 평가해야 합니다.

특히 AI가 자동으로 행동하는 범위가 넓어질수록 영향평가는 더욱 중요해집니다.

핵심 통제

Risk Identification → Analysis → Evaluation → Treatment → AI Impact Assessment

대표 증적

AI Risk Register · AI Impact Assessment · Threat Model · Risk Treatment Plan

ISO Mapping

ISO/IEC 27001 → 6.1

ISO/IEC 42001 → 6.1.2, 6.1.3, 6.1.4, A.5

No Assessment → No Production.

06. AI 수명주기 보안

“보안은 운영 후가 아니라 설계부터 시작한다.”

AI 보안은 마지막 단계의 보안점검이 아니라 Secure by Design이어야 합니다.

Design → Develop → Test → Validate → Approve → Deploy → Monitor → Retire

모델, Prompt, RAG, Agent, API, 데이터 변경이 발생할 때마다 위험과 성능을 재검토해야 합니다.

대표 증적

AI-SDLC · Security Requirements · Test Report · Model Card · 변경·배포 승인기록

ISO Mapping

ISO/IEC 27001 → A.8.25, A.8.26, A.8.29

ISO/IEC 42001 → A.6

Secure AI from Design to Retirement.

07. AI Agent 실행통제 & Human Approval

“AI가 판단할 수 있어도 모든 것을 실행하게 하지 마라.”

AI Agent의 핵심 위험은 답변이 틀리는 것에서 끝나지 않습니다.

Agent가 실제 시스템을 조작할 수 있다면 잘못된 판단이 곧바로 실제 업무행위가 될 수 있습니다.

따라서 고위험 작업에는 사람이 최종 통제권을 가져야 합니다.

AI 판단 → 위험검사 → 사람 승인 → 실행

송금, 계약, 데이터 삭제, 관리자 권한 부여 등은 Human-in-the-Loop를 적용합니다.

대표 증적

Agent Permission Matrix · Human Approval Log · 실행정책 · 승인 Workflow

ISO Mapping

ISO/IEC 27001 → A.5.3, A.5.18

ISO/IEC 42001 → A.6, A.9

AI Recommends. Human Controls.

08. 로깅 · 모니터링 · 추적성

“AI의 판단부터 실행까지 증거로 남겨라.”

AI 사고가 발생했을 때 단순히 “AI가 그렇게 판단했다”는 설명으로는 충분하지 않습니다.

누가 요청했고, 어떤 데이터와 모델이 사용됐으며, 어떤 판단과 도구 호출을 거쳐 무엇이 실행됐는지 재현할 수 있어야 합니다.

Prompt → Context → Model → Decision → Tool Call → Approval → Execution → Result

각 단계는 Trace ID로 연결하는 것이 효과적입니다.

대표 증적

Prompt Log · Model Log · Tool Call Log · Approval Log · Audit Trail

ISO Mapping

ISO/IEC 27001 → A.8.15, A.8.16

ISO/IEC 42001 → A.6 관련 운영·모니터링 및 기록 통제

No Log → No Trace → No Trust.

09. AI 공급망 & 제3자 위험관리

“외부 AI의 위험도 결국 우리 조직의 위험이다.”

기업의 AI 서비스는 대부분 외부 생태계와 연결됩니다.

LLM Provider → Cloud → API → SaaS → Model → Dataset → Plugin/MCP

따라서 공급자의 보안 수준뿐 아니라 데이터 처리, 서비스 변경, 사고통지, 계약종료 및 데이터 삭제 조건까지 검토해야 합니다.

대표 증적

AI Supplier Register · Vendor Risk Assessment · DPA · SLA · 공급자 정기평가

ISO Mapping

ISO/IEC 27001 → A.5.19, A.5.20, A.5.21

ISO/IEC 42001 → A.10

Your AI Supply Chain Is Your Risk Chain.

10. AI 사고대응 & 지속적 개선

“AI 사고에서 학습하고 통제를 더 강하게 만들어라.”

AI 보안은 한 번 구축하고 끝나는 프로젝트가 아닙니다.

Prompt Injection, 데이터 유출, 과도한 권한, 잘못된 Agent 실행, 모델 이상 등의 사건을 탐지하고 원인을 분석해야 합니다.

Detect → Contain → Analyze → Correct → Verify → Improve

사고 결과는 RCA와 CAPA로 연결하고, 위험평가·정책·교육·기술통제에 다시 반영합니다.

대표 증적

AI Incident Report · RCA · CAPA · 재발방지 기록 · Management Review

ISO Mapping

ISO/IEC 27001 → A.5.24~A.5.28

ISO/IEC 42001 → 9.1, 10.1, 10.2

Detect → Respond → Learn → Improve.

🤖 AI Agent 시대의 새로운 보안 통제 체인

기존의 보안 질문이 “누가 접근했는가?”였다면, AI Agent 시대에는 다음까지 확인해야 합니다.

“AI가 무엇을 보고 → 무엇을 판단하고 → 무엇을 실행했는가?”

따라서 ISC가 제안하는 통제 흐름은 다음과 같습니다.

👤 USER

→ 🔑 IDENTITY

→ 🛡 ACCESS CONTROL

→ 🗄 DATA

→ 🧠 AI DECISION

→ 🧰 TOOL CALL

→ 👨‍⚖️ HUMAN APPROVAL

→ ⚙️ EXECUTION

→ 📜 IMMUTABLE AUDIT LOG

이 구조가 중요한 이유는 단순합니다.

AI의 자율성이 높아질수록

권한은 더 세분화하고,

고위험 실행은 더 엄격하게 승인하며,

모든 과정은 더 정확하게 기록해야 합니다.

🎯 ISC가 제안하는 AI 보안의 핵심

GOVERN

AI의 정책과 책임을 정하십시오.

IDENTIFY

조직의 모든 AI와 Shadow AI를 파악하십시오.

PROTECT

Identity·Access·Data를 최소권한으로 보호하십시오.

CONTROL

AI Agent의 판단과 실행 사이에 통제를 두십시오.

TRACE

AI의 판단·승인·실행을 감사 가능한 증거로 남기십시오.

IMPROVE

사고와 모니터링 결과를 다음 통제 개선으로 연결하십시오.

🔐 최종 메시지

AI 보안은 AI를 막는 것이 아닙니다.

AI가 허용된 범위 안에서 안전하게 판단하고 행동하도록 만드는 것입니다.

ISO/IEC 27001:2022

정보와 시스템의 보안을 강화하고

×

ISO/IEC 42001:2023

AI의 위험·영향·책임·수명주기를 관리하여

SECURITY × AI GOVERNANCE × HUMAN OVERSIGHT

= TRUSTWORTHY AI

ADOPT AI FAST. GOVERN IT. SECURE IT FASTER.

AI는 빠르게 도입하되, 보안과 거버넌스는 더 빠르게 구축하십시오.

[AX AI Agent 구축] https://isccert.org By Mark