我的第一个 AI 产品:视频翻译,主攻中英互译
保留原音色、背景声和时间轴的视频翻译服务,主攻英→中、中→英,也面向更多语言。附管线设计、真实数字、可直接调用的后端接口和测试脚本。
先别读字,看两段视频。这是英→中方向的一个演示:同一条 79 秒的英文短片,前面是原片,后面是这条管线生成的中文版。建议戴上耳机,先听英文,再听中文。
① 原片(英文)
② 中文翻译版
听的时候可以留意两件事:对白换成了中文,片头的背景音乐还在;中文字幕的起始时间和英文一致(如 9.00、12.95、14.05 秒),成片时长只差 0.02 秒(79.15 秒 → 79.17 秒)。这一版没有烧录字幕,中文字幕作为单独的字幕文件交付;它同样没有经过逐句人工听审。至于这条为什么几乎不需要延展画面,我还没做逐段分析。
版权说明:原片为 xAI 的 Grok Bot 宣传片,版权归 xAI 所有。我没有获得 xAI 的授权;这里仅作视频翻译的技术效果演示,不代表这个服务接受未授权内容。权利方要求时立即下架。
看完了?下面讲它是怎么做出来的,以及现在还差什么。
上面是最新的一条样片。更早的一条,是从另一个英文视频里截取的 59.51 秒片段,跑完整条链路后,出来一条 76.81 秒的中文视频:配音用原说话人的音色克隆,背景音乐还在,中文字幕烧在画面里。
这是我第一个对外讲的 AI 产品:视频翻译。它主攻两个方向:英→中,把海外视频变成中文版;中→英,把国内的产品视频带出海。同一条管线也面向更多语言。
它能跑通,但还不能收钱。下面把这两件事都讲清楚。
先说结论(截至 2026-11-19):
- 跑通了样片:以那段 59.51 秒片段为例,它走完了真实云端链路,生成 8 段中文配音、8 段独立质检,完整解码校验通过。时间轴对齐,但不做口型同步。
- 还不能收钱:自动质检通过不等于人听着舒服,逐句人工听审还没过;声音克隆模型 OmniVoice 的官方预训练权重是 CC-BY-NC(非商用)许可。
- 中英互译是主线,但不止中英。 每个方向的验证进度不一样,我分开写:
| 方向 | 定位 | 验证状态(截至 2026-11-19) |
|---|---|---|
| 英→中 | 海外视频本地化、培训 | 已在多条样片上跑通完整链路 |
| 中→英 | 国内产品视频出海 | 管线与接口已支持;线上默认的语音识别只接英文源,中文源要切到 Whisper large-v3,完整链路还没实测 |
| 其他语言 | 多语种出海 / 本地化 | 语言目录列了 647 条(列表不等于可处理);源语言受识别模型限制:线上默认只接英文,切到 Whisper 是 95 种;音色克隆 OmniVoice 官方标称 600+ 种1。逐语言质量都还没验收,日语测试暂停 |
下面按「问题 → 为什么做 → 怎么做 → 还差什么」讲。
1. 名词先对齐:视频翻译到底指什么
这篇文章里说的「视频翻译 / 视频转译」,不是给视频配一条字幕。它更接近影视行业的配音(dubbing)2,再加上产品本地化(localization)3的那一层:把语言换掉,同时尽量保住原片的人、声音和节奏。
拆开来,一条「翻译好的视频」至少包含四样东西:
- 原文:谁在什么时间说了什么(识别 + 时间戳 + 说话人)
- 译文:目标语言的台词,术语要对,长度要能放进原来的时间
- 声音:用原说话人的音色,把译文念出来
- 成片:配音、背景声、字幕、画面重新对齐,打包成一个能播放的文件
市面上已经有 YouTube 自动配音、ElevenLabs Dubbing4、HeyGen 视频翻译5这类产品,需求是真实的。YouTube 官方博客给过一个数字:上传多语言音轨的创作者,平均超过 25% 的观看时长来自视频非原始语言的观看6。非原始语言的观看不是零头,语言本身就是一道墙。
2. 现在实际卡在哪:三类跨语言场景
下面是我自己的观察,不是行业调研。
2.1 中国产品出海:本地产品讲解视频(中→英)
出海团队的产品演示、教程、短剧、带货视频,大多先用中文拍。要进英语或东南亚市场,常见做法有三种:
- 重拍:找外籍演员或主播,成本高,周期长
- 只加字幕:便宜,但字幕要求观众一边读一边看,信息密度高的产品讲解尤其吃力
- 找配音公司:每条视频单独沟通,改一句台词又是一轮
所以通常只有少数“最重要的”视频被本地化,大量素材停留在中文。
拿最常见的本地产品讲解视频来说:一个人对着镜头或录屏讲解功能,背景配点音乐,三到五分钟。用这个服务做成英文版,流程是这样的:
- 上传中文讲解视频,系统分离出讲解人的人声和背景音乐
- 识别中文原文和时间戳,核对句段边界和说话人
- 翻译成英文。产品名、功能名这类术语最容易出错,所以每一句译文都可以单独改,改完只重算这一句的配音
- 用讲解人自己的音色念英文:从原片里截一段他的中文干声当参考音,克隆出英文配音,海外观众听到的还是同一个人
- 对齐时间轴。录屏类视频最怕画面和讲解错位,可以选择
fixed模式:画面帧 1:1 不动,英文配音先借用句尾的静默间隙,不压到下一句;借不够时会加速配音(上限可设,示例是 2 倍),超限会报问题。这和下文 Smart Fit「宁可拉画面,也不让人说快」是相反的取舍,录屏类视频通常更在乎画面不动 - 混音导出:英文配音 + 原背景音乐,附英文字幕(可烧录,也可单独交付 SRT/VTT)
有两件事这个服务目前不做,提前说清楚:画面里的中文 UI 文字、贴片字幕不会被翻译(只处理声音和字幕轨);也不做口型同步。
中→英这个方向,接口和管线都已经支持,就是上面这 6 步。线上默认的语音识别模型只接英文源,中文源要切换到 Whisper large-v3。这条完整链路我还没在线上实测过,所以开头的表格里写的是“完整链路还没实测”。等跑完一条真实的中文产品讲解,我会把成片贴出来。
2.2 海外产品的本地培训
反过来也一样。公司买了海外的 SaaS 或开发工具,官方教程、发布会、内部培训录屏全是英文。看是能看,但边听英文边跟操作很累,字幕还可能挡住界面上的按钮。
这类视频的特点是术语多、操作细、人声以外的声音也有信息(点击声、提示音、背景音乐)。只做字幕翻译,损失很明显。
2.3 搬运
这是最敏感的一块,我直接说立场。
跨语言搬运之所以是灰色地带,不是技术问题,是授权问题。翻译会让一条视频传得更远,也会让侵权传得更远。所以这个服务的边界是:
- 面向你自己拥有或已获得授权的视频
- 公开链接导入只是可选入口。链接拉不下来,就让用户自己上传;系统不导入浏览器 Cookie。不绕过平台限制,是我给自己定的原则
- 每条成片保留来源、哈希和用途记录
如果你拿到了一位海外创作者的授权,想把他的内容正式做成中文版,这是我想服务的场景。没有授权的搬运,我不想帮你做得更快。
3. 为什么我要自己做
回头看一个数字:另一条 90 秒、1080p、18 段对白的样片,所有成功尝试的耗时加起来约 19 分 41 秒;但从第一个任务到拿到第一版成片,墙钟时间是 22 小时 49 分钟。中间是断线、恢复和修代码。
这件事让我确定了一个判断:视频翻译不是一个模型,是一条装配线。 八个模型和工具串起来,每一步都可能失败。
做之前我列了一张清单:一条视频翻译管线最容易在哪些地方坏掉。
- 一句译文不对,只能整条重来
- 重跑一次,说话人的声音变了
- 背景音乐被一起抹掉,或者被人声吞掉
- 译文和原文时长不同,配音、字幕、画面慢慢错开
- 中途失败,前面已经完成的推理结果全部作废
归结起来,真正难的是三件“无聊”的事:
- 时间:译文变长了怎么办?压语速,还是拉画面?
- 状态:第 15 段配音失败了,前 14 段要不要重算?
- 质量:机器说“合格”,人听着却别扭,以谁为准?
模型当然重要,但这三件事决定了换模型的成本:管线设计得好,换一个模型只需要重跑受影响的阶段,再重新做一次基准;设计得不好,每次都得从头来。
4. 怎么做的:一条可以局部返工的管线
整条流程:
上传完整视频
→ 校验字节与音视频轨道
→ 抽音,建立统一时间基准
→ 分离人声 / 背景声
→ 识别原文 + 时间戳,核对说话人和句段边界
→ 翻译 + 术语检查 ┐
→ 提取每个角色的参考音 ┘→ 按句段克隆配音
→ 每段配音独立回识别质检 → 不合格的段落局部重做
→ 建立统一时间映射(Smart Fit)
→ 混合背景声与中文配音
→ 烧录字幕,视频编码
→ 完整解码校验 → 原子发布成片 → 人工听审
每一步用的东西:
| 阶段 | 模型 / 工具 |
|---|---|
| 人声分离 | Demucs htdemucs7 |
| 语音识别、配音回识别 | Whisper large-v38(多语言);线上英文源默认用 NVIDIA nemotron 做识别 + 说话人分离 |
| 翻译(英→中、中→英及其他语言) | Qwen3-235B-A22B-Instruct-25079 |
| 声音克隆 | OmniVoice1 |
| 变速拟合 | Rubber Band10 |
| 混音、字幕、编码 | FFmpeg、libass、libx264 |
模型推理全部在云端,API 和媒体处理节点不装模型权重。下面挑三个我觉得最有意思的设计。
4.1 时间:宁可拉画面,也不让人说快
英文和中文说同一个意思,时长不一样。最省事的做法是把中文配音加速,塞进原来的时间,听起来就像一个人在赶时间。
我的选择是 Smart Fit:配音保持自然语速(速度 = 1),需要更多时间时,用时间映射去延展画面。那段 59.51 秒的片段,最后变成了 76.81 秒的中文成片。画面慢一点,比人说话像机器好接受得多。
时间映射用有理数算,不用浮点。在一组单独的媒体重建测试里,24000/1001 fps 的 90.347 秒输入,重建输出稳定是 2167 帧,画面尾差小于 1 帧,音画同步误差 0 ms(门槛是 ≤ 40 ms)。
4.2 状态:每一步都有收据
每个阶段的结果都是一个带版本的产物,有输入指纹、远端请求 ID 和 SHA-256。好处是:
- 改了一句译文,只有这一句的配音和下游的拟合、混音、导出需要重算,其他段落直接复用
- 远端推理中途断线,先用请求 ID 回查结果,而不是直接再提交一次
- 旧结果不能覆盖新编辑;取消和重试在发布前会再核对一次
59.51 秒那段短样片的中文管线最后一次走完时,复用了已有的当前结果,新推理调用次数是 0。这是我最满意的一个数字。
4.3 质量:机器合格 ≠ 人听着合格
系统里有三个独立的状态:preview_ready(能预览)、auto_ready(自动质检通过)、accepted(人工听审通过)。
自动质检会把每段配音重新识别回文字,再和译文比对,同时检查响度和峰值。90 秒样片的 18 段配音里,有 2 段被我自己的质检规则拦了下来。质量异常会挡住正式交付,但可以单独出一个带问题标记的预览。
我刻意不让 auto_ready 冒充 accepted。声音像不像、语气对不对,目前还得靠人耳朵。
5. 一些真实的数字
一条 90 秒、1080p、18 段英文对白的样片,各阶段最终成功尝试的耗时:
| 阶段 | 耗时 | 占比 |
|---|---|---|
| 英语识别 | 10.78 秒 | 0.9% |
| 翻译 | 84.86 秒 | 7.2% |
| 18 段配音(串行) | 533.96 秒 | 45.2% |
| 18 段回识别质检 | 132.18 秒 | 11.2% |
| 混音与完整导出 | 326.08 秒 | 27.6% |
| 其他 4 个小阶段* | 93.18 秒 | 7.9% |
| 合计 | 1181.04 秒(约 19 分 41 秒) | 100% |
* 探测抽音 1.48 秒、分离结果下载恢复 89.41 秒、参考音 0.72 秒、拟合规划 1.57 秒。
边界说清楚:这是成功尝试的耗时之和,不是用户实际等待时间;分离那一步复用了已有的远端任务,没有完整的推理计时。
瓶颈一眼可见:配音串行跑,占了将近一半。生产目标是单条 90 秒视频热启动 8–10 分钟出片,这个数字还没经过完整压测,我先不承诺。
6. 还差什么
- 人工听审:样片还没通过逐句听审,这是最重要的一关
- 授权:OmniVoice 代码是 Apache-2.0,但官方预训练权重是 CC-BY-NC。在拿到商用授权,或者换成验收过的商用 TTS 并重新做基准之前,我不收钱
- 字幕位置:中文字幕开头和原片的姓名条重叠了,要做避让
- 中→英实测:接口已支持,完整链路还没在线上跑过一次,这是下一步
- 更多语言方向:语言目录已接入,但每种语言都要单独做质检和听审;日语测试暂停了
- 线上稳定性:今天(11-19)人声分离用的 HF Space 更新了版本,和后端锁定的版本对不上,完整流水线会在分离这一步失败(报错码是
INVALID_MEDIA,有误导性,视频本身没问题)。修复前,接口只建议跑到quick级别
7. 接口文档:自己调一次
这个服务有一套公开的后端接口。与其听我说“能跑通”,不如自己调一次。
入口
| 用途 | 地址 |
|---|---|
| API 基地址 | https://video-translate-gateway.moosemosse19.workers.dev |
| 交互式文档(推荐) | /docs |
| Swagger UI | /swagger |
| ReDoc | /redoc |
| OpenAPI 3.1 规范(可导入 Postman / Apifox) | /openapi.json |
| 健康检查 | /_gateway/health |
请求先进 Cloudflare Workers 网关,网关签名封装后转发到 Hugging Face 上的后端。调用方只管发标准 REST 请求。
认证:注册或登录后拿到会话 Cookie 和 csrf_token;之后所有写请求都要带上 Cookie 和 X-CSRF-Token 请求头。编辑类接口带版本号(revision),版本过期返回 409,防止并发覆盖。
一条完整翻译的调用顺序
| 步骤 | 接口 | 作用 |
|---|---|---|
| 1 | POST /api/auth/register、/api/auth/login |
注册 / 登录 |
| 2 | POST /api/projects |
建项目,指定 source_language 和 target_languages(如 en→zh,或 zh→en) |
| 3 | POST /api/projects/{id}/source |
上传视频(multipart) |
| 4 | POST /api/projects/{id}/runs {"stage":"probe"} |
媒体探测,拿到精确时长 |
| 5 | PUT .../source-selection、PUT .../fit-settings、POST .../language-tracks |
选区、时间对齐策略、目标语言轨 |
| 6 | POST .../workflow {"action":"analyse"} |
抽音 → 人声分离 → 识别 |
| 7 | POST .../references/extract、PUT .../speakers/{sid}/reference |
截取每个说话人的参考音并绑定 |
| 8 | POST .../pipeline |
翻译 → 克隆配音 → 质检 → 对齐 → 混音导出 |
| 9 | GET .../deliveries/{did}、GET /api/assets/{aid}/content |
拿到成片清单,下载 MP4 / SRT / VTT |
改一句译文、换一个角色的音色,不用重传视频:PATCH .../language-tracks/{tag}/segments/{seg} 改译文,POST .../language-tracks/{tag}/synthesize 只重算改过的句子,再 POST .../fit-plans 和 POST .../deliveries 重新导出。
最简单的测试:先 curl 一下健康检查
curl -s https://video-translate-gateway.moosemosse19.workers.dev/_gateway/health
返回里 "status": "healthy"、"tunnel_verified": true 就说明网关和后端都通。
再用脚本跑一次
我写了一个只依赖 requests 的 Python 测试脚本:vt_smoke.py。它分三级:
health:只查网关和后端状态quick(默认):一次性测试账号 → 建项目 → 上传 → 探测时长,并打印服务端和本地的 SHA-256 供核对。不触发 GPU 推理full:跑完整流水线并下载成片,--src/--dst指定语言对。脚本暂不切换识别模型:--src zh需要先在服务配置里把识别改成 Whisper large-v3(hf_asr),否则返回UNSUPPORTED_LANGUAGE
pip install requests
curl -O https://www.minghao.si/code/vt_smoke.py
python vt_smoke.py quick --input demo.mp4
# 完整流水线(目前见下方说明):
# python vt_smoke.py full --input demo.mp4 --src en --dst zh --out ./out
我自己今天用一段 7 秒的英文片段跑了一次 quick,输出如下(账号是脚本生成的一次性账号;为了篇幅,省略了账号和项目 ID,SHA-256 只保留首尾):
▶ health ...
gateway=healthy tunnel_verified=True latency=335ms
backend ok=True service=video-translate-production environment=development
✓ health 1.8s
▶ 登录/注册 ...
✓ 登录/注册 1.2s
▶ 创建项目 ...
✓ 创建项目 0.7s
▶ 上传视频 ...
✓ 上传视频 4.6s
bytes=420563 sha256=26b0f103…530650 (本地 26b0f103…530650)
▶ probe ...
✓ probe 11.4s
时长 7000 ms
✓ quick 通过, 总耗时 19.7s
使用前请注意
- 后端目前报告的是
environment=development,这是开发环境,不是收费的生产服务,不保证可用性;为了控制推理成本,我可能随时限流或关闭注册 - 今天人声分离的上游版本漂移还没修,
full会在分离这一步失败;修好之前请跑quick - 线上默认的语音识别只接英文源、单条不超过 120 秒;中文源要先把识别切换到 Whisper large-v3
- 流水线有人工检查点:确认原文和角色、确认译文、逐句听审。脚本会自动放行这些检查点,只是为了让流程能走完,自动放行 ≠ 人工听审通过
- 只上传你自己拥有或已获授权的视频
8. 最后
做之前,我以为难点是“找到最好的声音模型”。跑完一轮才发现,模型只占一小部分。真正的工作,是把这些会失败的零件接成一条可以恢复、可以局部返工、每一步都说得清楚的装配线。
下一步很具体:修好分离服务的版本漂移,跑通一条真实的中→英产品讲解,逐句听审,解决 TTS 授权,把串行配音改成并行。
如果你手里有想做成英文版出海的中文产品视频、海外课程,或者一批拿到授权、想做成中文版的内容,订阅本站。等它能处理真实订单的那天,订阅者会先收到邮件。
先 ship,再变好。
引用
本服务接口
- 交互式 API 文档:video-translate-gateway.moosemosse19.workers.dev/docs
- OpenAPI 3.1 规范:/openapi.json
- 测试脚本:vt_smoke.py
Footnotes
-
配音(Dubbing)的定义与行业做法:Wikipedia: Dubbing ↩
-
本地化(Language localisation):Wikipedia: Language localisation ↩
-
ElevenLabs Dubbing:elevenlabs.io/dubbing ↩
-
HeyGen Video Translate:heygen.com/translate ↩
-
YouTube 官方博客,Unlock a world of viewers with multi-language audio:blog.youtube ↩
-
Rouard, Massa, Défossez. Hybrid Transformers for Music Source Separation. arXiv:2211.08553 ↩
-
Radford et al. Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356 ↩
-
Qwen3-235B-A22B-Instruct-2507:Hugging Face ↩
-
Rubber Band Library:breakfastquay.com/rubberband ↩
喜欢这篇?订阅后续更新
日常更新 · 不刷屏AI 前沿、学习笔记和独立做产品的一手经验,写好就寄给你。
习惯用阅读器?用 RSS 订阅
觉得有用?
来小红书找我聊,评论区见。