트레이스·프롬프트·모델 버전·평가 세트·비용 기준 등록
트레이스·프롬프트·모델 버전·평가 세트·비용 기준 등록에서 필요한 정보, 분류 기준, 중복·누락 확인을 정의해 이후 처리와 리포트가 같은 원본 데이터를 보게 합니다.
CLAUDE · CODEX 플러그인 기반 무료 PRD·SOT 기획서
AI 관측성·평가 운영 시스템 PRD 템플릿 | 무료 기획서
AI 관측성·평가 운영 시스템 PRD 템플릿으로, 트레이스·프롬프트·모델 버전·평가 세트·비용 기준 등록, 실행 트레이스·프롬프트·모델 버전·평가 결과·토큰·비용 이력 조회, 평가 기준 설정·실행 관측·품질·안전성·비용 검토·모델 또는 프롬프트 변경 승인·재평가 처리, 응답 품질·평가 통과율·안전성 위반·지연 시간·토큰 사용량·모델별 비용 리포트로 구성된 실제 SOT 기반 기획서입니다.
GitHub 원본 보기 · MIT licensed
USE CASE
이 템플릿이 필요한 팀
AI 기능의 품질·비용·안전성을 관리하는 제품·ML·운영 담당자 및 AI 플랫폼·ML 운영 담당자를 위한 사내 운영 시스템을 설계하는 팀
CONTENTS
기획안에 포함된 내용
- 트레이스·프롬프트·모델 버전·평가 세트·비용 기준 등록
- 실행 트레이스·프롬프트·모델 버전·평가 결과·토큰·비용 이력 조회
- 평가 기준 설정·실행 관측·품질·안전성·비용 검토·모델 또는 프롬프트 변경 승인·재평가 처리
- 응답 품질·평가 통과율·안전성 위반·지연 시간·토큰 사용량·모델별 비용 리포트
VIBESPEC VIEWER
기획안을 화면으로 확인하세요
각 화면은 공개 SOT 파일에서 생성한 실제 기획 결과입니다.
라이브 데모에서 이 화면 열기 
라이브 데모에서 이 화면 열기 
라이브 데모에서 이 화면 열기 
라이브 데모에서 이 화면 열기 PRACTICAL GUIDE
AI 관측성·평가 운영 시스템을 바로 사용하고 우리 팀에 맞게 확장하는 방법
제품, ML, AI 플랫폼 운영자가 같은 근거로 모델·프롬프트 변경을 판단하도록 트레이스, 프롬프트와 모델 버전, 평가 세트, 품질·안전성 결과, 토큰 비용 이력을 연결한 기획안입니다. 각 실행과 평가 결과를 변경안에 귀속하고, 배포 승인·보류·재평가 결정을 기록하는 운영 흐름을 포함합니다. HTML로 범위를 검토한 뒤 SOT JSON을 Claude 또는 Codex의 VibeSpec 플러그인에서 팀의 평가 기준과 승인 정책에 맞게 수정할 수 있습니다.
이 AI 관측성·평가 운영 시스템에 실제로 포함된 핵심 요소
실행 트레이스·프롬프트·모델 버전·평가 결과·토큰·비용 이력 조회
실행 트레이스·프롬프트·모델 버전·평가 결과·토큰·비용 이력 조회의 상태, 담당자, 우선순위와 변경 이력을 한 화면에서 확인해 업무 맥락이 개인 메신저나 스프레드시트에 흩어지지 않게 합니다.
평가 기준 설정·실행 관측·품질·안전성·비용 검토·모델 또는 프롬프트 변경 승인·재평가 처리
평가 기준 설정·실행 관측·품질·안전성·비용 검토·모델 또는 프롬프트 변경 승인·재평가 처리에서 누가 배정·검토·승인·예외 처리·완료 확인을 맡는지와 각 단계의 근거를 연결합니다.
응답 품질·평가 통과율·안전성 위반·지연 시간·토큰 사용량·모델별 비용 리포트
응답 품질·평가 통과율·안전성 위반·지연 시간·토큰 사용량·모델별 비용 리포트를 역할·기간·유형 기준으로 보며 기한, 병목, 예외, 완료율이 실제 운영 개선으로 이어지게 합니다.
정책·권한·연동 기반
AI 관측성·평가 운영 시스템에 필요한 역할별 접근 권한, 감사 이력, 알림, 외부 데이터 연동의 책임 경계를 함께 정리합니다.
기획 경험 없이 시작하는 3단계
1. 완성된 HTML을 팀과 함께 검토합니다
다운로드한 HTML은 별도 설치 없이 브라우저에서 열립니다. PRD, 기능 명세, 화면 구조, 유저 플로우를 보며 현재 업무와 다른 지점을 표시하세요.
2. 우리 조직의 기준을 정합니다
실제 사용자 역할, 필수 입력값, 승인 기준, 예외 상황, 성공 지표를 적습니다. 처음에는 트레이스·프롬프트·모델 버전·평가 세트·비용 기준 등록부터 평가 기준 설정·실행 관측·품질·안전성·비용 검토·모델 또는 프롬프트 변경 승인·재평가 처리까지의 핵심 흐름에 집중하세요.
3. SOT JSON을 VibeSpec에 전달합니다
Claude 또는 Codex 대화에 SOT JSON을 첨부하고 바꾸고 싶은 내용을 평문으로 요청하세요. VibeSpec이 요구사항, 기능, 화면, 유저 플로우의 연결을 유지하며 수정안을 만듭니다.
우리 팀의 AI 관측성·평가 운영 시스템으로 바꾸는 순서
업무 용어와 상태부터 맞추기
현재 팀이 쓰는 객체 이름, 상태값, 분류 체계가 템플릿과 다르면 먼저 바꾸세요. 트레이스·프롬프트·모델 버전·평가 세트·비용 기준 등록 및 실행 트레이스·프롬프트·모델 버전·평가 결과·토큰·비용 이력 조회에서 같은 용어를 쓰는 것이 중요합니다.
역할·승인·예외 기준 구체화하기
누가 등록·검토·승인·처리·완료 확인을 맡는지, 어떤 경우에 반려·재처리하는지 명시하면 해당 처리 흐름이 실제 운영 규칙이 됩니다.
화면·지표·연동을 함께 연결하기
응답 품질·평가 통과율·안전성 위반·지연 시간·토큰 사용량·모델별 비용 리포트에서 볼 지표와 알림 기준을 정하고, SSO·메신저·외부 시스템 연동이 필요하면 관련 화면과 유저 플로우도 함께 확장하세요.
다음 단계에서 추가할 수 있는 AI 관측성·평가 운영 시스템 기능
트레이스·평가 수집 자동화
OpenTelemetry 트레이스, 평가 러너, 모델 게이트웨이에서 프롬프트 버전·지연 시간·토큰·비용·평가 결과를 수집하고 중복 실행과 수집 실패를 처리하는 추가 기획을 만들 수 있습니다.
배포 게이트 연동
CI/CD 또는 모델 배포 도구와 연결해 승인된 평가 세트와 비용 기준을 확인하고, 통과·보류·예외 승인 결과를 변경 기록으로 되돌려주는 흐름을 확장할 수 있습니다.
회귀·비용 드리프트 분석
모델·프롬프트·평가 세트별 품질, 안전성, 지연 시간, 단위 비용의 기준선을 비교하고 어떤 변화가 재평가 또는 롤백 검토를 시작하는지 명시할 수 있습니다.
VibeSpec에 바로 요청할 수 있는 예시
우리 팀 용어와 역할로 수정
이 AI 관측성·평가 운영 시스템을 우리 팀에 맞게 수정해줘. 사용자 역할, 상태값, 필수 입력값, 승인 단계를 먼저 질문하고 요구사항·화면·유저 플로우를 함께 업데이트해줘.작게 시작하는 MVP로 단순화
이 AI 관측성·평가 운영 시스템에서 초기 운영에 꼭 필요한 트레이스·프롬프트·모델 버전·평가 세트·비용 기준 등록, 실행 트레이스·프롬프트·모델 버전·평가 결과·토큰·비용 이력 조회, 평가 기준 설정·실행 관측·품질·안전성·비용 검토·모델 또는 프롬프트 변경 승인·재평가 처리만 남겨 MVP 범위를 정리해줘. 자동화와 외부 연동은 별도 추가 기획으로 분리해줘.KPI Measurement Check 결정 해소
KPI Measurement Check를 측정 준비도 검토로 사용해 '배포 전 평가 통과율'에서 미정인 평가 세트 버전, 통과 기준, 분모, 변경안 연결 방식을 찾아줘. 담당자와 결정값을 먼저 질문한 뒤 그 답을 반영하는 범위 한정 변경 계획을 만들고, 영향받는 요구사항·기능 명세·화면·유저 플로우·측정 이벤트만 제안해줘.AI 관측성·평가 운영 시스템 활용 FAQ
개발 경험이 없어도 이 템플릿을 사용할 수 있나요?
네. 완성된 HTML은 브라우저에서 바로 열어 검토하고 공유할 수 있습니다. 우리 팀에 맞춘 수정은 SOT JSON을 Claude 또는 Codex의 VibeSpec 플러그인에 전달하고 평문으로 요청하면 됩니다.
이 기획안에는 무엇이 포함되어 있나요?
트레이스·프롬프트·모델 버전·평가 세트·비용 기준 등록, 실행 트레이스·프롬프트·모델 버전·평가 결과·토큰·비용 이력 조회, 평가 기준 설정·실행 관측·품질·안전성·비용 검토·모델 또는 프롬프트 변경 승인·재평가 처리, 응답 품질·평가 통과율·안전성 위반·지연 시간·토큰 사용량·모델별 비용 리포트의 핵심 요소와 역할·권한·감사·알림·연동을 확장할 수 있는 기준을 포함합니다.
HTML과 SOT JSON은 어떻게 다른가요?
HTML은 읽고 공유하는 완성된 기획안입니다. SOT JSON은 VibeSpec이 요구사항, 기능, 화면, 유저 플로우의 연결을 유지하며 수정할 수 있는 원본 데이터입니다.
KPI Measurement Check는 AI 품질을 자동으로 보증하나요?
아닙니다. KPI Measurement Check는 평가 통과율 같은 KPI를 실제 기능과 데이터로 계산할 준비가 되었는지 검토합니다. 실제 모델 품질이나 안전성을 자동 보증하는 기능은 아닙니다.
WORKFLOW
VibeSpec으로 활용하는 법
- 완성된 HTML을 바로 열어 검토하거나 공유합니다.
- SOT JSON을 내려받아 VibeSpec 뷰어에서 불러옵니다.
- 내 팀의 기능·화면·플로우로 수정합니다.