최근 워크샵을 진행하면서 녹화본을 원하는 분들이 많아서 줌 클라우드 녹화 기능을 활용했습니다. 줌의 클라우드 방식은 일반적인 로컬 저장 대신 클라우드에 파일을 저장해서 여러 장점을 제공합니다. 영상 파일뿐 아니라 오디오 파일과 VTT 형식의 자막 파일도 함께 자동으로 생성됩니다.
일반적으로 동영상에서 오디오를 추출해 MP3나 WAV로 변환한 후, 음성 파일을 텍스트로 변환해야 합니다. 이 음성-텍스트 변환을 STT(Speech-to-Text)라고 하는데, 일반적으로 OpenAI의 Whisper 같은 Speech Recognition 모델을 사용합니다. 네이버 클로바나 구글도 우수한 기술을 가지고 있지만, API를 사용하면 비용이 상당합니다. 로컬에서 Whisper를 돌릴 수 있지만 컴퓨터 사양에 제약이 있어서 처리 속도가 느립니다.
가장 간편한 방법 중 하나는 유튜브에 영상을 올리는 것입니다. 유튜브가 자동으로 음성을 인식해 자막을 생성하고, 그 자막을 다운로드할 수 있습니다. 비공개로 올려서 자막만 내려받는 방식이 있으며, NotebookLM에서도 유튜브 영상을 요약할 때 이 자막 텍스트를 활용합니다.
또 다른 방법은 오디오 파일을 NotebookLM에 올리는 것입니다. NotebookLM이 자동으로 텍스트로 추출해주기 때문에 그 결과를 텍스트로 활용할 수 있습니다. VTT 파일은 타임라인과 함께 스크립트를 제공하는 텍스트 형식으로, YouTube의 SRT 자막 파일과 유사합니다. 줌의 클라우드 저장 방식은 이 모든 과정을 간단하게 처리해줍니다.
이렇게 확보된 강의 텍스트 자료를 바탕으로 요약 및 정리 노트를 AI에게 생성하게 할 수 있습니다. 짧은 요약은 NotebookLM에서 매우 잘 처리하지만, 두세 시간이 넘는 긴 강의의 경우 녹취량이 상당해서 더 체계적인 접근이 필요합니다. 전체 내용이 적절하게 충분히 노트 테이킹이 되려면 다양한 전략이 필요합니다.
긴 강의를 효과적으로 정리하려면 먼저 내용을 시간에 따라 20-30분 단위로 쪼개고, 각 섹션을 소주제별로 챕터화한 후 정해진 형식에 따라 노트를 생성합니다. 저는 AI Studio에서 기본 형태를 잡고, 로컬에서 AntiGravity를 활용해 추가 작업을 해서 강의노트 생성 앱을 만들었습니다.
새 강의를 추가하면 VTT 파일이나 텍스트 파일을 업로드해 분석할 수 있는 페이지가 뜹니다. 작성된 노트는 데이터베이스에 저장되어 언제든지 불러올 수 있으며, 향후 Zotero 같은 도구와 유사한 형태로 발전시킬 수도 있을 것 같습니다.
노트 작성 방식은 스토리텔링 기반으로 흐름을 정리하며, 특정 부분의 녹취 레퍼런스를 인용으로 표시합니다. 대화의 흐름을 따라가면서 중요한 지점을 강조합니다. 내용에 포함된 관련 개념들은 주석 형식으로 함께 정리합니다. 이렇게 생성된 노트는 상당히 상세합니다. 3시간 정도의 강의를 바탕으로 챕터별로 정리하면 PDF로 추출했을 때 약 95페이지 정도의 자료가 완성됩니다. 이 과정에서 코드를 여러 번 수정해야 하지만, 완성되면 딸깍 하나로 대용량 강의를 처리할 수 있습니다.
생성된 강의노트는 다양한 방식으로 활용할 수 있습니다. 예를 들어 노트북LM에 다시 입력해 강의 내용에 맞는 프레젠테이션을 자동으로 생성할 수 있습니다. 이런 식으로 동영상 → 오디오 → 텍스트 → 정리 노트 → PPT의 연쇄적인 형식 변환이 가능합니다.
LLM 엔진을 활용하면 이제 다양한 디지털 형식의 변환이 매우 빠르게 일어날 수 있습니다. 동영상을 업로드하면 자막이 자동으로 생성되고, 그 자막을 바탕으로 상세한 강의노트를 만들고, 그 노트에서 다시 프레젠테이션을 추출하는 전체 워크플로우가 자동화됩니다.
직접 사용해보고 싶으신 분들은 GitHub 저장소(https://github.com/xulfereht/lecturenote-ai)에서 코드를 다운로드하면 됩니다. 바이브코딩을 해본 분들이라면 Claude Code나 AntiGravity에게 저장소 링크를 주면서 코드를 내려받아 달라고 하면, 로컬에서 쉽게 실행할 수 있습니다. Gemini API 설정은 로컬에서 해야 하는데, AI에게 설정 방법을 물어보면 잘 가르쳐줄 겁니다.
코드는 입맛에 맞게 수정할 수 있습니다. 자신만의 노트 정리 템플릿을 만든다거나 다양한 아이디어로 활용할 수 있으니, 강의를 많이 들으셨던 자료들을 자신만의 콘텐츠로 가공하고 싶으신 분들과 직접 강의를 하시면서 강의자료를 만드는 분들에게 도움이 되길 바랍니다.