v0.4.0练习题逼你动脑、课程分文件夹、本地识别用上显卡

CoursePilot

把课程视频变成
真正记得住的东西。

拖进来一个视频,CoursePilot 会转写字幕、生成笔记和脑图、截下课件、出练习题,再用知识点、间隔复习和费曼复述帮你真正记住它。

macOS · Windows · iPhone · iPad · Android · 资料存在本地 · AI 功能使用你自己的 API Key

CoursePilot 学习工作台:左侧播放课程视频,右侧是 AI 概览——整体摘要、带时间戳的核心要点和重点章节时间线

本地优先 · 开源 MIT · 资料不上传 · 凭证存在系统钥匙串

v0.4.0 新功能

不只考记性,还要会用。

点了就判,每个选项都讲清错在哪。

错误选项是学这部分时真会犯的误解,不再一眼就能排除。单选、判断点了就判;找错改错、简答写完交给 AI 对照讲稿批改,告诉你答对了几成、漏了什么。

理解应用风格的单选题:选错的一项标红打叉、正确项标绿打勾,每个选项下面一句为什么对或错,下方是解析和回看时间

出什么题,你说了算。

四种风格:记忆巩固、理解应用(课上没出现过的新情境)、找错改错、易混辨析。「再出一套」追加新题,旧题留着;所有课程通用的要求写在设置里,只对这门课的写在这里。

出一套新题对话框:四种出题风格、本课程的出题要求和替换现有题目开关

一门课,按章节整理。

课程里建多级文件夹,拖进去就整理好;⌘ / Shift 批量选,一次移动或删除;在当前章节里搜标题、笔记,打开后还能搜文稿、直接跳到那一刻。

课程页里第1章、第2章两个文件夹卡片,封面是里面视频的拼图

Qwen3-ASR 用上显卡。

电脑上的 Qwen3-ASR 换成 llama.cpp:Mac 走 Metal,Windows 走 Vulkan,没有能用的显卡自动改用 CPU。模型可以放到别的盘、单独删除;处理排队,本地识别一次只跑一个。

语音识别设置:同时处理的视频数、Qwen3-ASR、GPU 加速开关、热词,以及模型存放位置、更改位置和删除
批量选择、课内搜索 侧栏文件夹树、课程标色 检测本机 Ollama 删除视频真正释放空间

v0.3.9 新功能

不联网,也能把课听写下来。

错字少到原来的四分之一。

内置 SenseVoice 和 Qwen3-ASR。三段中文讲课实测,SenseVoice 错误率 3.6%、Qwen3-ASR 2.5%,原来的 Whisper base 是 13.4%;SenseVoice 十几秒转完 10 分钟。Qwen3-ASR 还能读热词,课里的术语认得更稳。

设置里的本地识别:识别模型选 Qwen3-ASR,热词框里填着课程术语,下面的模型清单列出 SenseVoice、Qwen3-ASR 和 Whisper 各自的大小与是否已安装

手机上转写,不花一分钱。

iPhone、iPad、Android 都能选「本地识别」,不联网、不用配 Key。iPad 上一节 28 分钟的课两分半转完。内存放不下 Qwen3-ASR 的设备会在清单上标出来,选了也会自动改用 SenseVoice。

两台 iPhone:一台选了 Qwen3-ASR 并填好热词,另一台的模型清单在 Qwen3-ASR 旁标着「这台设备内存不够」

放下手机,它接着跑。

处理视频、下载模型时,Android 通知栏里一条进度,熄屏照样跑;iPhone / iPad 处理期间不自动锁屏,iOS 26 起切到别的 App 也能接着跑。用流量下载大模型前,会先问你一句。

左边是手机处理队列里「本地识别中(SenseVoice,中文)」46%,右边是 Android 通知栏里「正在处理 03 梯度下降的直觉 · 语音识别 41%」的进度条

缓存过的 B 站课,直接导进来。

「导入整个文件夹」认得 B 站电脑客户端的离线缓存,也认得从手机拷出来的 download 目录。每一 P 按顺序列好,导入时把音视频原样合成一个 mp4,缓存本身不动。

导入文件夹视频:列出吴恩达机器学习 P1 到 P6,每项标着「B站缓存」,最后一项是普通的课堂录屏
阿里云识别长课不再受限 模型下载断点续传、自动换源 用流量下载前先确认 火山识别自动适配资源 ID

学习资料

视频看完,资料也整理好了。

章节、概览、笔记、练习题、脑图和知识点,都从这节课的文稿和课件文字里生成。可以直接拿来复习,也可以再改、导出,按自己的习惯整理。

章节、笔记与脑图

把一节课拆成章节,配上概览;再生成图文笔记和脑图。课件上的板书、公式也一并被识别出来喂给 AI,写在片子上但没念出来的内容不会丢。

知识点

每个视频自动抽取知识点,同名和近义的自动合并成课程清单。每个知识点有解释、学习进度、搜索高亮和补卡入口。

练习题与间隔复习

按课程内容自动出题;做完的题目进入 FSRS-4.5 间隔复习调度器,打分前就能看到四个档位分别把下次复习推到多久之后。在文稿里划一段也能做成挖空卡。

字幕改了,AI 资料自动过期。

手动改过字幕后,基于旧稿生成的笔记、章节等 AI 产物会自动标为「已过期」,提醒你重新生成。

字幕和课件都能搜。

跨视频搜索字幕和课件文字,命中直接跳到对应时刻。中文搜索按稀有度加权,自然语言问句也能命中。

Token 用量一目了然。

每次大模型调用的 token 消耗都有记录,缓存命中率和思考消耗看得见,帮你掌握 API 花费。

处理管线

导入之后,全自动处理。

视频导入后,CoursePilot 会分步处理:抽音频、转写、字幕纠错,再到章节、概览、笔记、练习题和脑图。课件提取和语音识别并行,不用互相等。每一步都有进度,哪一步失败了也能单独重试。支持批量导入文件夹和 B 站播放列表,云端识别中断后可以断点续跑。

01 导入

拖入本地视频,或粘贴 Bilibili / URL 下载。

02 转写

本地 SenseVoice / Qwen3-ASR(电脑上能用显卡),或火山、阿里云 DashScope。

03 纠错

按分段 id 修正错别字和口语停顿。

04 生成

章节、概览、笔记、练习题和脑图。

05 复习

间隔复习、费曼复述,向课程提问。

课件

课件翻到哪,它就存到哪。

按画面变化比例判断换页,截取动画稳定后的那一帧,跳过纯色页和转场。每一页整批 OCR,板书上的公式和定义不会丢。导入时自动和语音识别并行提取,硬件解码采样,还会先裁掉视频自带的黑边。

CoursePilot 课件页:按换页自动截取的课件缩略图,带页码和时间戳,可整批 OCR
课件文字也能搜到。

搜课件上的文字时直接给出页面缩略图和页码,点击跳到讲这一页的时刻。

OCR 可本地可云端。

离线时用本地 tesseract;课件文字复杂时,换成阿里云 OCR 或 DeepSeek 视觉模型。整批识别,一页失败不影响其他页。

板书喂给 AI。

识别出的课件文字和讲稿按时间交织,一起喂给摘要、笔记、出题——写在片子上但没念出来的定义和公式不再丢失。

提问

直接问这门课。

单个视频的问答按相关性检索上下文,不用把整份字幕塞进去;课程级问答可以跨视频提问,两段式重排挑最相关的段落。在文稿里选中一段也能直接追问。问句搜不到东西时,会自动改写问题再试一次。

对着当前视频提问:回答引用了课件第 5 页和 04:22、35:41 等时间点,旁边是这节课的 AI 概览

真实对话截图:回答引用课件页码和 [mm:ss] 出处,点一下就跳到视频对应位置。

AI 助手

说一句话,它帮你做。

屏幕角落的悬浮球,点开就是一个能帮你操作应用的 AI 助手。搜 B 站找视频、新建和管理课程、跳转到指定位置、查看学习进度和薄弱知识点,把聊天内容整理成笔记——用自然语言说就行,不用翻菜单。

你说

帮我在 B 站搜一下吴恩达的机器学习课程

助手做

🔍 搜索 B 站… 找到 8 个结果。
第一个是「吴恩达机器学习 2022」,共 33 集,发布于 2022-07。要导入到哪个课程?

改数据前先问你。

新建课程、追加笔记这类会改数据的操作,先弹确认卡,你点头它才动手;工具调用过程用大白话解释,每一步都有成功 / 失败标签。

截图也能问。

粘贴一张课件截图,它按画面在课里找到对应那一页,告诉你几分几秒讲的。模型随时切换,回答里的时间戳都能点。

想自己想明白?

打开「引导」,它一步步反问、给提示,等你想通了再总结;想通的地方一键做成复习卡。

学习闭环

看完不是终点,记住才是。

学习仪表盘追踪你的学习热力图、完成度和薄弱主题;间隔复习按 FSRS-4.5 调度;看完一章还能做费曼复述,讲清楚的知识点会标成「已能讲清」。从看到记,再到讲得出来。

学习仪表盘

热力图、每门课的完成度环、到期复习角标、薄弱主题聚合、「继续学习」入口,一页看清学习全貌。

间隔复习

FSRS-4.5 调度器,复习卡按知识点分组。打分前看到四个档位各会推到多久之后。文稿里划一段就能做成挖空卡。

每日目标

设一个学习目标,进度拨盘实时跟踪。达成后有反馈,桌面端还支持原生学习提醒。

播放器

不只是播放,是学习。

精华版、跳停顿、智能倍速、收藏片段、长按快扫、字幕浮层——播放器为长课程学习专门设计。

跳停顿

自动跃过老师写板书、等记笔记这类无声空档。换页瞬间不跳,另有「上一处/下一处」试跳按钮。

智能倍速

按信息密度动态调速——讲得稀的段落自动加速,推导密集处回到你选的倍速,永远不会比你设的更慢。

精华版

课务通知、闲聊、重复讲解这类水分段快放或跳过,进度条上一眼看到省了几分钟;标过「这段有用」的不再处理。

链接一贴就走。

B 站、YouTube、播客链接粘贴即下载,整个播放列表 / 合集批量导入,还能订阅、有更新自动导入。

弹幕和评论区都在。

B 站弹幕与评论在后台抓取并缓存到本地:播放器里随时开关弹幕层,评论面板保留楼中楼和表情。

去黑边,画面更大。

自动识别视频自带的黑边并裁掉,课件截图同样先去黑边再识别。

还有这些

看得更爽,学得更全,也更好分享。

弹幕热度曲线

进度条上方画出弹幕密度,最热的几处打点,点一下就跳到「高能」片段。

讲义一键成 PDF

每页课件配上这一页老师讲的要点,按章节排好,在浏览器里直接存成 PDF。

分享图

笔记长图、脑图图片、学习周报,1080px 宽,发小红书、朋友圈正合适。

双语字幕

字幕翻成中 / 英 / 日 / 韩,播放器在原文、双语、译文之间切换,外语课也能跟上。

订阅合集

导入播放列表时勾选订阅,有新视频自动导入并开始处理,追更不用再手动搬运。

YouTube、播客与音频

YouTube、播客链接和本地 mp3 / m4a 都能导入;公式在课件、笔记和题目里统一渲染成 LaTeX。

一点说明

够本地,也够透明。

资料在你手里

数据库、字幕、笔记和课件图默认存在你自己的设备上。

跨设备同步

通过 Apple CloudKit 在多台设备间同步学习记录,网络不好时自动驻留重试。

断网也能用

导入、播放、本地转写、课件抽取和本地 OCR,离线也能跑。

用你自己的 Key

OpenAI 兼容、Anthropic、Gemini、Ollama、Azure 五种协议,11 个服务商预设;Key 存进系统钥匙串,用 Ollama 还能完全本地跑。

一键备份

整个数据库一键备份、随时恢复;每天首次启动还会自动留一份快照。

删错也不怕

删除的课程和视频先进回收站,按课程分组、带缩略图,可批量恢复。

下载,拖进第一节课。

桌面版已内置 ffmpeg、llama.cpp、sherpa-onnx 等依赖,装好就能用;手机版也能本地转写,OCR 走云端。

最新版本 · 免费开源(MIT) · 更新日志

安装包暂未签名,打开时被拦下怎么办?
  • macOS 提示「已损坏,无法打开」:在终端运行 xattr -cr /Applications/course-ai.app 再打开。
  • Windows 出现 SmartScreen:点「更多信息 → 仍要运行」。也可以用 .msi 安装包。
  • Android:在系统设置里允许「安装未知来源应用」。
  • iOS / iPadOS:用 AltStore、Sideloadly 等工具以自己的 Apple ID 签名安装;自签安装时 iCloud 同步不可用。

App Store / Google Play 版本正在准备 · 喜欢的话欢迎到 GitHub 点个 Star ⭐