배경
5개 과목의 강의 노트(35개)와 개인 앱을 AI 에이전트로 만들어 왔다. 결과물은 그럴듯했지만 틀리는 경우가 있었다. 예를 들어 컴퓨터비전 노트에서는 표가 깨진 채 추출되어 영상 종류를 잘못 정리했고, 수식 슬라이드는 내용이 비어 있는데도 일반 지식으로 빈칸을 메웠다.
프로토타입 단계에서는 관점이 다른 검증 에이전트 2개(예: 화면 리뷰 / 코드 대조)를 병렬로 돌린 뒤 직접 검수한다.
결과
- 강의 노트 35개 제작 (2026-11-11 기준). 검증 에이전트는 2026-09-30에 도입해 그 뒤 노트부터 게시 전 검증을 거쳤다.
- 비용 실측 약 25건 기록 → 실측이 예상의 약 2배로 나온 사례를 근거로 예측 기준을 고침
배운 점
- 에이전트도, 검증 단계도 틀린다. 수업 중 직접 필기한 내용을 슬라이드 원문으로 착각해 “슬라이드 오류”로 잘못 표시한 일이 있었다. 이후 PDF 메타데이터로 필기본을 먼저 구분하는 규칙을 추가했다. 최종 판단은 근거를 보고 사람이 한다.
- 도구를 빼는 것과 하지 말라고 하는 것은 다르다. 검증 에이전트에서 편집 도구는 뺐지만, PDF를 이미지로 바꾸려면 셸이 필요하다. 셸로는 파일을 고칠 수 있으므로 “고치지 말 것”은 지시로만 지켜진다. 쓰기를 실제로 막으려면 읽기 전용 작업 공간이나 변환 전용 도구가 필요하다.
- 비용은 슬라이드 수가 아니라 대조·실행 확인 양에 비례한다. 이미지 대조와 실행 확인이 많은 작업일수록 예상보다 크게 늘었다.