본문 바로가기
ISO 인증심사 비용, 30초 만에 자동 계산 →

FACEBOOK · 페이스북 소식

페이스북 소식

ISC가 페이스북·스레드에서 엄선한 소식과 콘텐츠를 모았습니다. 원문 링크로 가져와 공유합니다.

엄선
큐레이션
원문
링크 연결
공유
SNS·링크 복사

Production AI System Architecture

admin@isccert.org 2026.10.18 05:37 (수정됨)
👁 42 💬 0 🤍 0

8B9C749F-24FA-484F-9D90-CBD8CEE887C1.png

ISC Production AI System Architecture

ISC 실무 교육 콘텐츠 | 인포그래픽 설명문 + 구축 착수 마스터 프롬프트

주제: 고객이 신뢰하는 운영형 AI 시스템 아키텍처 — 9대 핵심 계층과 실무 구축 전략

AI 데모가 성공했다고 해서 실제 고객에게 안정적으로 서비스를 제공할 수 있는 것은 아닙니다.

기업용 AI 시스템은 정확한 답변뿐 아니라 보안, 데이터 품질, 장애 복구, 비용 관리, 성능 검증, 운영 책임까지 갖추어야 합니다.

이번 인포그래픽은 FastAPI, RAG, AI Agent, LangGraph, Docker, CI/CD 등의 기술을 활용해 실험용 AI를 실제 운영 가능한 Production AI로 발전시키는 9개 핵심 계층을 설명합니다.

1. 인포그래픽용 한국어 설명문 — 9대 핵심 계층

01

애플리케이션 경계 (Application Boundary)

AI 서비스의 출입구를 설계하는 단계입니다. FastAPI로 API를 구성하고 설정, 데이터 모델, 입력·출력 스키마를 분리합니다.

실무 적용: API 인증, 환경변수 관리, Docker 패키징, 입력값 검증.

검증: 동일한 실행 환경에서 서비스가 재현 가능해야 합니다.

02

검색 및 데이터 (Retrieval & Data)

AI가 신뢰할 수 있는 자료를 찾아 답변하도록 설계합니다. 키워드 검색과 벡터 검색을 결합하고 재순위화(Reranking)로 관련성을 높입니다.

실무 적용: PostgreSQL, Qdrant, BGE-M3, 문서 처리 및 메타데이터 관리.

검증: 검색된 근거가 실제 답변을 뒷받침하는지 평가합니다.

03

핵심 서비스 (Core Services)

RAG 파이프라인, 시맨틱 캐시, 대화 메모리, 질문 재작성, 모델 라우팅을 담당합니다.

실무 적용: 검색 → 문맥 구성 → 모델 호출 → 근거 검증 → 응답 생성.

검증: 응답 오류 발생 시 실패 단계를 추적할 수 있어야 합니다.

04

AI 에이전트와 도구 (Agents & Tools)

AI가 업무를 판단하고 외부 도구를 호출하는 계층입니다. 문서 평가, 질문 분해, 검색 경로 선택 등을 자동화합니다.

실무 적용: LangGraph, Agent별 역할 분리, Tool Calling, 승인 워크플로.

검증: 도구 실행 실패와 사람의 승인·개입 조건을 테스트합니다.

05

프롬프트 관리 (Prompt Management)

프롬프트를 임시 문장이 아닌 버전이 관리되는 소프트웨어 자산으로 운영합니다.

실무 적용: 템플릿, 프롬프트 레지스트리, Git 버전 관리, A/B 평가.

검증: 어떤 프롬프트 버전이 결과를 생성했는지 추적합니다.

06

보안 경계 (Security Boundaries)

입력, 검색 콘텐츠, 도구 실행, 최종 출력에 각각 보안 통제를 적용합니다.

실무 적용: Prompt Injection 방어, 개인정보 마스킹, RBAC, 최소 권한, 비밀정보 보호.

검증: 차단·격리·승인·감사 기록이 실제로 작동해야 합니다.

관련 기준: ISO/IEC 27001:2022, 27701:2025, 42001:2023.

07

평가와 관측성 (Evaluation & Observability)

AI의 정확도, 응답 시간, 오류, 토큰 사용량, 비용을 측정하고 지속적으로 개선합니다.

실무 적용: Golden Dataset, Offline Evaluation, Online Monitoring, OpenTelemetry.

검증: 변경 전후 성능과 비용을 객관적으로 비교합니다.

08

릴리스와 운영 (Release & Operations)

개발된 AI 서비스를 안정적으로 배포하고 장애가 발생하면 복구하는 계층입니다.

실무 적용: Docker Compose, CI/CD, 데이터베이스 마이그레이션, Health Check, Rollback.

검증: 자동 테스트를 통과하고 장애 복구 절차가 검증되어야 합니다.

09

문서화와 코딩 컨텍스트 (Documentation & Coding Context)

시스템 구조와 개발 규칙을 문서화하여 개발자와 코딩 에이전트가 동일한 기준으로 작업하게 합니다.

실무 적용: CLAUDE.md, AGENTS.md, API 명세, 아키텍처 문서, 배포 가이드.

검증: 코드 변경 시 관련 문서와 운영 규칙도 함께 갱신합니다.

2. ISC 실무 구축 착수 마스터 프롬프트

아래 프롬프트는 Claude Code 또는 다른 코딩 에이전트에 전달하여 실제 AI 프로젝트의 아키텍처 설계와 구현 계획을 시작할 수 있도록 구성했습니다.

ISC Production AI System Architecture — 구축 착수 마스터 프롬프트

1. 역할(Role)

당신은 Production AI Architect, Senior Python Engineer, AI Agent Engineer, DevSecOps Engineer, ISO/IEC 27001·42001 시스템 설계자의 역할을 수행한다.

목표는 단순한 AI 데모가 아닌, 기업 고객이 신뢰하고 지속적으로 운영할 수 있는 Production AI 시스템을 설계하고 구현하는 것이다.

2. 프로젝트 목표(Objectives)

다음 9대 계층을 기반으로 운영형 AI 시스템을 설계한다.

  1. Application Boundary

  2. Retrieval & Data

  3. Core Services

  4. Agents & Tools

  5. Prompt Management

  6. Security Boundaries

  7. Evaluation & Observability

  8. Release & Operations

  9. Documentation & Coding Context

각 계층에는 담당자, 기술 스택, 구현 파일, API, DB, 테스트, KPI, 승인 기준을 연결한다.

3. 기본 기술 스택

  • Backend: Python, FastAPI, Pydantic

  • Database: PostgreSQL

  • Vector Database: Qdrant

  • Retrieval: Hybrid Search, BGE-M3, Reranker

  • AI Orchestration: LangGraph

  • AI Model: 환경에 적합한 LLM 및 로컬 모델

  • Monitoring: OpenTelemetry, Prometheus, Grafana

  • Infrastructure: Docker Compose, GitHub Actions

  • Security: RBAC, Secret Management, Audit Logging

  • Documentation: CLAUDE.md, AGENTS.md, README.md

  • Standards: ISO/IEC 27001:2022, ISO/IEC 42001:2023, ISO/IEC 27701:2025

4. 수행 지침

Phase 1 — 요구사항 분석

  • 핵심 사용자 시나리오 3개 정의

  • 기능·비기능 요구사항 구분

  • 데이터 민감도와 접근 권한 식별

  • 시스템 경계와 외부 연동 정의

  • 위험 및 수용 기준 설정

Phase 2 — 아키텍처 설계

  • 9계층 아키텍처 설계

  • Mermaid 아키텍처 다이어그램 작성

  • 폴더 및 Python 모듈 설계

  • API와 PostgreSQL 테이블 매핑

  • Agent, Skills, Tools 책임 매핑

Phase 3 — 구현 계획

  • WBS 7Depth 작성

  • 업무별 담당자 및 Man-Day 산정

  • 구현 순서와 선행 의존성 정의

  • MVP와 Production 범위 분리

  • 24주 개발 로드맵 작성

Phase 4 — 보안 및 통제

  • 인증·인가·최소 권한 구현

  • 입력·콘텐츠·출력 보안 검사

  • Prompt Injection 테스트

  • 개인정보 보호 및 감사 로그 설계

  • 위험 수준에 따른 Human Approval 적용

Phase 5 — 평가 및 검증

  • Golden Dataset 구축

  • Retrieval Recall@K, Precision@K 평가

  • 근거 충실도 및 답변 정확성 평가

  • P95 응답 시간 및 오류율 측정

  • 토큰 사용량과 요청별 비용 분석

  • 실패 사례 재현 테스트

Phase 6 — 배포 및 운영

  • Docker 개발·운영 환경 구성

  • CI/CD 자동화

  • Health Check 및 모니터링 구성

  • 장애 대응 및 Rollback 설계

  • 운영자 매뉴얼과 인수 기준 작성

5. 필수 산출물

다음 결과를 순서대로 작성한다.

  1. 프로젝트 요구사항 명세서

  2. Production AI 아키텍처 다이어그램

  3. 디렉터리 및 파일 구조

  4. API Endpoint 명세서

  5. PostgreSQL ERD 및 DDL

  6. LangGraph Agent Workflow

  7. Agent·Skills·Tools 책임 매트릭스

  8. ISO 보안통제 매핑표

  9. 테스트케이스 및 KPI 매트릭스

  10. 24주 WBS 7Depth 프로젝트 계획

  11. CI/CD 및 운영 매뉴얼

  12. Production Readiness 최종 점검표

6. 실행 원칙

  • 먼저 기존 프로젝트 구조를 조사하고 재사용 가능한 구성요소를 식별한다.

  • 기존 파일을 수정하기 전 변경 계획과 영향 범위를 제시한다.

  • 근거 없는 기술 선택이나 완료 선언을 금지한다.

  • 각 기능에는 최소 1개 이상의 검증 가능한 테스트를 연결한다.

  • 보안·권한·데이터 삭제·운영 배포는 명시적 승인 절차를 따른다.

  • 오류가 발생하면 실패 단계, 원인, 영향, 재현 방법을 기록한다.

  • 테스트 결과와 실제 구현 증거를 구분하여 보고한다.

  • 모든 핵심 설계 결정은 ADR로 기록한다.

7. 최초 실행 요청

지금부터 Phase 1을 시작하라.

먼저 프로젝트의 필수 정보와 불확실한 가정을 구분하고, 기존 저장소가 있다면 구조를 분석하라.

그다음 다음 항목을 표로 출력하라.

계층 | 구현 목표 | 담당 역할 | 기술 스택 | Python 모듈 | API | DB | Agent/Skill | 보안통제 | 테스트 | KPI | 승인 기준

아직 구현되지 않은 기능은 ‘미구현’, 검증되지 않은 기능은 ‘미검증’으로 명확히 표시한다.

최종적으로 승인받을 수 있는 아키텍처 설계 초안과 우선순위별 개발 착수 계획을 제시하라.

3. ISC 인포그래픽 디자인 최적화 가이드

메인 컬러 — Navy Blue #102B54

전문성, 기업 신뢰, 아키텍처 제목과 상단 배너

보조 컬러 — Tech Blue #087FCA

API, 데이터 흐름, 연결선, 계층 번호

강조 컬러 — Emerald #13A68D

검증 완료, 보안통제, 운영 신뢰성

포인트 컬러 — Gold #F4B83F

핵심 메시지, KPI, 주의사항 및 승인 기준

권장 디자인 구성: 1080×1350px 세로형 카드에서는 9개 계층을 각각 짧은 제목, 핵심 설명 1줄, 실무 검증 항목 1줄로 압축하는 것이 좋습니다. 세부 기술 스택과 구축 방법은 카드 본문 또는 별도 교육자료로 분리합니다.

상단에는 작은 프로필 사진과 Mark Lee | CTO · AI Engineer · ISO Lead Auditor를 배치하고, 중앙에는 9계층 아키텍처, 하단에는 실무 실행 흐름을 배치합니다.

우측 하단 브랜딩 문구:

AX AI Agent 구축 https://isccert.org⁠ By Mark

4. 실제 운영 전 최종 점검

Production Readiness 체크리스트

0/7 완료

9개 계층별 담당자와 책임이 지정되었는가?

API·DB·Agent·Tool의 연결 관계가 문서화되었는가?

검색 근거와 AI 답변의 정확성이 검증되었는가?

보안 공격과 권한 오남용 시나리오를 테스트했는가?

Golden Dataset 및 회귀 테스트가 준비되었는가?

장애 추적·경보·복구·Rollback이 검증되었는가?

운영 승인과 인수 기준이 문서화되었는가?

점검 결과 복사

ISC 핵심 메시지

신뢰할 수 있는 AI는 좋은 모델 하나로 완성되지 않습니다. 데이터의 근거, 보안 통제, 검증 가능한 테스트, 장애 복구 능력, 책임 있는 운영이 결합될 때 비로소 기업이 신뢰하는 Production AI가 됩니다.

Q1. ISC Production AI 9계층을 기준으로 Python·FastAPI·PostgreSQL·Qdrant·LangGraph 프로젝트의 실제 폴더 구조와 전체 소스코드 구축 계획을 작성해줘.

Q2. 9계층 아키텍처를 ISO/IEC 27001:2022, ISO/IEC 27701:2025, ISO/IEC 42001:2023 통제 요구사항과 1:1 매핑한 심사 체크리스트를 작성해줘.

Q3. ISC Production AI 구축 프로젝트를 24주 일정, WBS 7Depth, Agent·Skills·API·DB·Man-Day·KPI·CPM·EVM이 포함된 Excel 프로젝트 실행계획서로 만들어줘.





Your AI demo needs reliable engineering before customers depend on it.

__________

Use this example codebase as a review map for production AI.

Adapt the folders to your system and assign an owner to each layer.

A directory name alone does not make a capability reliable.

1 → Application boundary

FastAPI provides the application entry point.

Keep configuration, schemas and models understandable.

Package the backend so the team can reproduce its runtime.

2 → Retrieval and data

Separate hybrid retrieval from reranking.

Trace raw data through processing and index configuration.

Test whether the retrieved context actually supports the answer.

3 → Core services

Give the RAG pipeline, semantic cache and conversation memory clear roles.

Make query rewriting and routing visible in the request path.

Investigate the stage that failed before swapping the model.

4 → Agents and tools

Document graders, query decomposers and adaptive routers make decisions.

Define what vector search, web search and code search can do.

Test tool failures and the point where a person should take over.

5 → Prompt management

Keep templates and the registry versioned together.

Record which prompt version produced an output.

Evaluate a replacement before changing a working flow.

6 → Security boundaries

Check inputs, content and outputs at their respective stages.

Define the response when a guard flags something.

Test those rules alongside tool permissions and failure handling.

7 → Evaluation and observability

Maintain a golden dataset, offline checks and online monitoring.

Keep evaluation history so changes can be compared.

Capture traces, feedback and cost by stage to explain outcomes.

8 → Releases and operations

Keep frontend containers and backend responsibilities explicit.

Run health checks, migrations and retrieval, cache and routing tests.

Make those tests part of the release process, with a recovery path.

9 → Documentation and coding context

Maintain architecture notes, API references and deployment instructions.

Use CLAUDE.md, AGENTS.md and project rules to record conventions.

Review those instructions when code or operating assumptions change.

Start with one user journey and follow it through the entire system.

Identify the first failure you could neither detect nor explain.

Give that gap an owner and a test before adding another feature.

Production readiness becomes clearer when evidence replaces confidence.

Which layer of your AI system would fail that review today?

#LLM #AIEngineering #AgenticAI #RAGIMG_1122.jpeg

이 글이 도움이 됐다면 공유해 주세요

Facebook LinkedIn X 네이버

💬 댓글 (0)

댓글을 작성하려면 로그인해 주세요.
  • 첫 댓글을 작성해 보세요.
시스템 구축 견적 카톡 문의
02-988-5655 admin@isccert.org