← 대표 프로젝트
완료AI 에이전트보안

AI 에이전트 검증 워크플로

에이전트 결과물을 믿을 수 있게 만드는 작성·검증 분리 파이프라인

한눈에 보기

상황
강의 노트와 앱을 AI 에이전트로 만들면서, 그럴듯하지만 틀린 결과물이 반복됨
과제
게시 전에 믿을 수 있게 검증하는 절차와 비용 예측 기준 만들기
행동
  • 에이전트강의 PDF로 노트 초안 작성 (작성 에이전트)
  • 에이전트원본 슬라이드 이미지와 대조해 오류를 내용·출처·링크·누락·확인 불가 5종으로 보고. 파일은 고치지 않고 보고만 함 (검증 에이전트)
  • 직접작성과 검증을 분리하고, 검증 에이전트에는 편집 도구를 주지 않아 보고만 하게 설계 (셸은 PDF 변환에 필요해 남김 → 쓰기 금지는 권한이 아닌 지시 수준)
  • 직접표·그림·수식은 텍스트 추출 대신 원본 이미지로 대조하는 규칙
  • 직접노트의 모든 내용에 ‘슬라이드’ / ‘강의 중 언급’ / ‘보충’ 출처를 붙여 에이전트가 덧붙인 내용을 구분
  • 직접검증 보고도 핵심 항목은 직접 원문으로 재확인한 뒤 반영
  • 직접작성과 검증에 서로 다른 모델 사용 (같은 오독이 겹칠 가능성을 줄이려는 가설, 효과 미측정)
  • 직접서브에이전트는 띄우기 전에 예상 비용을 보고 승인하고, 실제 사용량을 기록해 다음 예측에 반영

직접내가 설계·판단한 것에이전트에이전트가 수행한 것

결과
강의 노트 35개 제작 · 비용 실측 약 25건으로 예측 기준 갱신

배경

5개 과목의 강의 노트(35개)와 개인 앱을 AI 에이전트로 만들어 왔다. 결과물은 그럴듯했지만 틀리는 경우가 있었다. 예를 들어 컴퓨터비전 노트에서는 표가 깨진 채 추출되어 영상 종류를 잘못 정리했고, 수식 슬라이드는 내용이 비어 있는데도 일반 지식으로 빈칸을 메웠다.

프로토타입 단계에서는 관점이 다른 검증 에이전트 2개(예: 화면 리뷰 / 코드 대조)를 병렬로 돌린 뒤 직접 검수한다.

결과

  • 강의 노트 35개 제작 (2026-11-11 기준). 검증 에이전트는 2026-09-30에 도입해 그 뒤 노트부터 게시 전 검증을 거쳤다.
  • 비용 실측 약 25건 기록 → 실측이 예상의 약 2배로 나온 사례를 근거로 예측 기준을 고침

배운 점

  • 에이전트도, 검증 단계도 틀린다. 수업 중 직접 필기한 내용을 슬라이드 원문으로 착각해 “슬라이드 오류”로 잘못 표시한 일이 있었다. 이후 PDF 메타데이터로 필기본을 먼저 구분하는 규칙을 추가했다. 최종 판단은 근거를 보고 사람이 한다.
  • 도구를 빼는 것과 하지 말라고 하는 것은 다르다. 검증 에이전트에서 편집 도구는 뺐지만, PDF를 이미지로 바꾸려면 셸이 필요하다. 셸로는 파일을 고칠 수 있으므로 “고치지 말 것”은 지시로만 지켜진다. 쓰기를 실제로 막으려면 읽기 전용 작업 공간이나 변환 전용 도구가 필요하다.
  • 비용은 슬라이드 수가 아니라 대조·실행 확인 양에 비례한다. 이미지 대조와 실행 확인이 많은 작업일수록 예상보다 크게 늘었다.