← 대표 프로젝트
완료앱

웹 받아쓰기

음성·영상 파일을 서버에 올리지 않고 브라우저 안에서 글로 받아 적는 웹앱

한눈에 보기

상황
녹화 강의를 글로 바꿔 복습하고 싶었지만, 받아쓰기 서비스는 비용이 들고 녹음 파일을 외부 서버에 올려야 했음
과제
파일을 밖으로 보내지 않고 내 기기에서 전사하는 도구를 만들고, 누구나 쓸 수 있게 웹으로 공개하기
행동
  • 직접실제 80분 강의 영상을 넣어 쓰다가 Safari에서만 약 7분까지만 전사되는 문제를 찾고, Chrome에서는 끝까지 된다는 것을 확인해 보고
  • 직접공개 전에 보안·동작·라이선스 관점의 검증 에이전트 3개를 돌리게 하고, 보고를 반영한 뒤 공개를 승인
  • 직접전사 중지 버튼, 'AI로 다듬기용 복사'(교정 지시문 + 줄 번호 붙인 결과) 기능을 제안
  • 에이전트앱 코드 작성 (Transformers.js로 Whisper 모델을 브라우저의 WebGPU에서 실행, TXT·SRT·VTT·JSON 저장)
  • 에이전트Safari(WebKit)의 오디오 디코더가 mp4 계열 오디오를 오류 없이 중간에서 자른다는 원인을 재현하고, MP4 컨테이너를 직접 읽어 5분 단위로 디코딩하는 우회 구현
  • 에이전트긴 파일 안정화 (30초 구간 순차 처리로 경계 문장 중복 제거, 멈춘 구간 감시·건너뛰기, 오류가 나도 그때까지의 결과 보존)

직접내가 설계·판단한 것에이전트에이전트가 수행한 것

결과
사이트와 MIT 코드 공개 · Safari MP4 잘림 우회까지 반영

배경

처음에는 맥 전용 앱(SwiftUI + mlx-whisper)으로 만들어 혼자 썼다. 다른 사람도 설치 없이 쓸 수 있게, 같은 일을 브라우저 안에서 하는 웹 버전을 만들어 GitHub Pages에 공개했다.

설계에서 지킨 것

  • 파일은 서버로 보내지 않는다. 전사는 브라우저 안에서 하고, 화면에 “파일을 밖으로 보내지 않습니다” 칸을 두어 페이지가 데이터를 담아 내보낸 요청 수를 보여 준다.
  • 한계도 같이 적는다. 이 숫자는 페이지 코드가 스스로 센 것이라 코드가 바뀌면 믿을 수 없다. 코드와 모델을 외부 CDN·Hugging Face에서 받으므로 그쪽이 침해되면 설명이 성립하지 않는다. 민감한 음성은 오프라인 도구가 더 안전하다. 이 내용을 사이트와 README에 그대로 밝혔다.
  • 긴 파일에서 결과를 잃지 않는다. 30초 구간마다 결과를 브라우저에 임시 저장해(7일, 끌 수 있음) 탭이 닫혀도 그때까지의 결과를 되살린다.

결과

  • 사이트와 코드(MIT)를 공개해 운영 중이다.
  • Safari에서 mp4·m4a 오디오가 중간에 잘리던 문제를 우회했다. 맥의 Safari와 Chrome에서 같은 80분 강의가 끝까지 전사되는 것을 확인했다.
  • 아직 확인하지 못한 것: iPhone·iPad 실기기, 아이폰으로 찍은 .MOV 파일.

배운 점

  • 오류 없이 틀리는 경우가 가장 위험하다. Safari의 디코더는 오류를 내지 않고 오디오를 잘랐다. 그래서 파일 길이와 실제로 읽힌 길이가 다르면 경고하도록 했다.
  • 자동 시험이 통과해도 실제로 써 봐야 나오는 문제가 있다. Safari 잘림은 Chrome으로만 돌리던 자동 시험에서는 보이지 않았고, 실제 강의 파일을 Safari에 넣어 보다가 발견했다.