← 回到 Feed
AI

我的第一个 AI 产品:视频翻译,主攻中英互译

保留原音色、背景声和时间轴的视频翻译服务,主攻英→中、中→英,也面向更多语言。附管线设计、真实数字、可直接调用的后端接口和测试脚本。

先别读字,看两段视频。这是英→中方向的一个演示:同一条 79 秒的英文短片,前面是原片,后面是这条管线生成的中文版。建议戴上耳机,先听英文,再听中文。

① 原片(英文)

② 中文翻译版

听的时候可以留意两件事:对白换成了中文,片头的背景音乐还在;中文字幕的起始时间和英文一致(如 9.00、12.95、14.05 秒),成片时长只差 0.02 秒(79.15 秒 → 79.17 秒)。这一版没有烧录字幕,中文字幕作为单独的字幕文件交付;它同样没有经过逐句人工听审。至于这条为什么几乎不需要延展画面,我还没做逐段分析。

版权说明:原片为 xAI 的 Grok Bot 宣传片,版权归 xAI 所有。我没有获得 xAI 的授权;这里仅作视频翻译的技术效果演示,不代表这个服务接受未授权内容。权利方要求时立即下架。

看完了?下面讲它是怎么做出来的,以及现在还差什么。


上面是最新的一条样片。更早的一条,是从另一个英文视频里截取的 59.51 秒片段,跑完整条链路后,出来一条 76.81 秒的中文视频:配音用原说话人的音色克隆,背景音乐还在,中文字幕烧在画面里。

这是我第一个对外讲的 AI 产品:视频翻译。它主攻两个方向:英→中,把海外视频变成中文版;中→英,把国内的产品视频带出海。同一条管线也面向更多语言。

它能跑通,但还不能收钱。下面把这两件事都讲清楚。

先说结论(截至 2026-11-19):

  • 跑通了样片:以那段 59.51 秒片段为例,它走完了真实云端链路,生成 8 段中文配音、8 段独立质检,完整解码校验通过。时间轴对齐,但不做口型同步。
  • 还不能收钱:自动质检通过不等于人听着舒服,逐句人工听审还没过;声音克隆模型 OmniVoice 的官方预训练权重是 CC-BY-NC(非商用)许可。
  • 中英互译是主线,但不止中英。 每个方向的验证进度不一样,我分开写:
方向 定位 验证状态(截至 2026-11-19)
英→中 海外视频本地化、培训 已在多条样片上跑通完整链路
中→英 国内产品视频出海 管线与接口已支持;线上默认的语音识别只接英文源,中文源要切到 Whisper large-v3,完整链路还没实测
其他语言 多语种出海 / 本地化 语言目录列了 647 条(列表不等于可处理);源语言受识别模型限制:线上默认只接英文,切到 Whisper 是 95 种;音色克隆 OmniVoice 官方标称 600+ 种1。逐语言质量都还没验收,日语测试暂停

下面按「问题 → 为什么做 → 怎么做 → 还差什么」讲。

1. 名词先对齐:视频翻译到底指什么

这篇文章里说的「视频翻译 / 视频转译」,不是给视频配一条字幕。它更接近影视行业的配音(dubbing)2,再加上产品本地化(localization)3的那一层:把语言换掉,同时尽量保住原片的人、声音和节奏。

拆开来,一条「翻译好的视频」至少包含四样东西:

  1. 原文:谁在什么时间说了什么(识别 + 时间戳 + 说话人)
  2. 译文:目标语言的台词,术语要对,长度要能放进原来的时间
  3. 声音:用原说话人的音色,把译文念出来
  4. 成片:配音、背景声、字幕、画面重新对齐,打包成一个能播放的文件

市面上已经有 YouTube 自动配音、ElevenLabs Dubbing4、HeyGen 视频翻译5这类产品,需求是真实的。YouTube 官方博客给过一个数字:上传多语言音轨的创作者,平均超过 25% 的观看时长来自视频非原始语言的观看6。非原始语言的观看不是零头,语言本身就是一道墙。

2. 现在实际卡在哪:三类跨语言场景

下面是我自己的观察,不是行业调研。

2.1 中国产品出海:本地产品讲解视频(中→英)

出海团队的产品演示、教程、短剧、带货视频,大多先用中文拍。要进英语或东南亚市场,常见做法有三种:

  • 重拍:找外籍演员或主播,成本高,周期长
  • 只加字幕:便宜,但字幕要求观众一边读一边看,信息密度高的产品讲解尤其吃力
  • 找配音公司:每条视频单独沟通,改一句台词又是一轮

所以通常只有少数“最重要的”视频被本地化,大量素材停留在中文。

拿最常见的本地产品讲解视频来说:一个人对着镜头或录屏讲解功能,背景配点音乐,三到五分钟。用这个服务做成英文版,流程是这样的:

  1. 上传中文讲解视频,系统分离出讲解人的人声和背景音乐
  2. 识别中文原文和时间戳,核对句段边界和说话人
  3. 翻译成英文。产品名、功能名这类术语最容易出错,所以每一句译文都可以单独改,改完只重算这一句的配音
  4. 用讲解人自己的音色念英文:从原片里截一段他的中文干声当参考音,克隆出英文配音,海外观众听到的还是同一个人
  5. 对齐时间轴。录屏类视频最怕画面和讲解错位,可以选择 fixed 模式:画面帧 1:1 不动,英文配音先借用句尾的静默间隙,不压到下一句;借不够时会加速配音(上限可设,示例是 2 倍),超限会报问题。这和下文 Smart Fit「宁可拉画面,也不让人说快」是相反的取舍,录屏类视频通常更在乎画面不动
  6. 混音导出:英文配音 + 原背景音乐,附英文字幕(可烧录,也可单独交付 SRT/VTT)

有两件事这个服务目前不做,提前说清楚:画面里的中文 UI 文字、贴片字幕不会被翻译(只处理声音和字幕轨);也不做口型同步。

中→英这个方向,接口和管线都已经支持,就是上面这 6 步。线上默认的语音识别模型只接英文源,中文源要切换到 Whisper large-v3。这条完整链路我还没在线上实测过,所以开头的表格里写的是“完整链路还没实测”。等跑完一条真实的中文产品讲解,我会把成片贴出来。

2.2 海外产品的本地培训

反过来也一样。公司买了海外的 SaaS 或开发工具,官方教程、发布会、内部培训录屏全是英文。看是能看,但边听英文边跟操作很累,字幕还可能挡住界面上的按钮。

这类视频的特点是术语多、操作细、人声以外的声音也有信息(点击声、提示音、背景音乐)。只做字幕翻译,损失很明显。

2.3 搬运

这是最敏感的一块,我直接说立场。

跨语言搬运之所以是灰色地带,不是技术问题,是授权问题。翻译会让一条视频传得更远,也会让侵权传得更远。所以这个服务的边界是:

  • 面向你自己拥有或已获得授权的视频
  • 公开链接导入只是可选入口。链接拉不下来,就让用户自己上传;系统不导入浏览器 Cookie。不绕过平台限制,是我给自己定的原则
  • 每条成片保留来源、哈希和用途记录

如果你拿到了一位海外创作者的授权,想把他的内容正式做成中文版,这是我想服务的场景。没有授权的搬运,我不想帮你做得更快。

3. 为什么我要自己做

回头看一个数字:另一条 90 秒、1080p、18 段对白的样片,所有成功尝试的耗时加起来约 19 分 41 秒;但从第一个任务到拿到第一版成片,墙钟时间是 22 小时 49 分钟。中间是断线、恢复和修代码。

这件事让我确定了一个判断:视频翻译不是一个模型,是一条装配线。 八个模型和工具串起来,每一步都可能失败。

做之前我列了一张清单:一条视频翻译管线最容易在哪些地方坏掉。

  • 一句译文不对,只能整条重来
  • 重跑一次,说话人的声音变了
  • 背景音乐被一起抹掉,或者被人声吞掉
  • 译文和原文时长不同,配音、字幕、画面慢慢错开
  • 中途失败,前面已经完成的推理结果全部作废

归结起来,真正难的是三件“无聊”的事:

  1. 时间:译文变长了怎么办?压语速,还是拉画面?
  2. 状态:第 15 段配音失败了,前 14 段要不要重算?
  3. 质量:机器说“合格”,人听着却别扭,以谁为准?

模型当然重要,但这三件事决定了换模型的成本:管线设计得好,换一个模型只需要重跑受影响的阶段,再重新做一次基准;设计得不好,每次都得从头来。

4. 怎么做的:一条可以局部返工的管线

整条流程:

上传完整视频
  → 校验字节与音视频轨道
  → 抽音,建立统一时间基准
  → 分离人声 / 背景声
  → 识别原文 + 时间戳,核对说话人和句段边界
  → 翻译 + 术语检查        ┐
  → 提取每个角色的参考音   ┘→ 按句段克隆配音
  → 每段配音独立回识别质检 → 不合格的段落局部重做
  → 建立统一时间映射(Smart Fit)
  → 混合背景声与中文配音
  → 烧录字幕,视频编码
  → 完整解码校验 → 原子发布成片 → 人工听审

每一步用的东西:

阶段 模型 / 工具
人声分离 Demucs htdemucs7
语音识别、配音回识别 Whisper large-v38(多语言);线上英文源默认用 NVIDIA nemotron 做识别 + 说话人分离
翻译(英→中、中→英及其他语言) Qwen3-235B-A22B-Instruct-25079
声音克隆 OmniVoice1
变速拟合 Rubber Band10
混音、字幕、编码 FFmpeg、libass、libx264

模型推理全部在云端,API 和媒体处理节点不装模型权重。下面挑三个我觉得最有意思的设计。

4.1 时间:宁可拉画面,也不让人说快

英文和中文说同一个意思,时长不一样。最省事的做法是把中文配音加速,塞进原来的时间,听起来就像一个人在赶时间。

我的选择是 Smart Fit:配音保持自然语速(速度 = 1),需要更多时间时,用时间映射去延展画面。那段 59.51 秒的片段,最后变成了 76.81 秒的中文成片。画面慢一点,比人说话像机器好接受得多。

时间映射用有理数算,不用浮点。在一组单独的媒体重建测试里,24000/1001 fps 的 90.347 秒输入,重建输出稳定是 2167 帧,画面尾差小于 1 帧,音画同步误差 0 ms(门槛是 ≤ 40 ms)。

4.2 状态:每一步都有收据

每个阶段的结果都是一个带版本的产物,有输入指纹、远端请求 ID 和 SHA-256。好处是:

  • 改了一句译文,只有这一句的配音和下游的拟合、混音、导出需要重算,其他段落直接复用
  • 远端推理中途断线,先用请求 ID 回查结果,而不是直接再提交一次
  • 旧结果不能覆盖新编辑;取消和重试在发布前会再核对一次

59.51 秒那段短样片的中文管线最后一次走完时,复用了已有的当前结果,新推理调用次数是 0。这是我最满意的一个数字。

4.3 质量:机器合格 ≠ 人听着合格

系统里有三个独立的状态:preview_ready(能预览)、auto_ready(自动质检通过)、accepted(人工听审通过)。

自动质检会把每段配音重新识别回文字,再和译文比对,同时检查响度和峰值。90 秒样片的 18 段配音里,有 2 段被我自己的质检规则拦了下来。质量异常会挡住正式交付,但可以单独出一个带问题标记的预览。

我刻意不让 auto_ready 冒充 accepted。声音像不像、语气对不对,目前还得靠人耳朵。

5. 一些真实的数字

一条 90 秒、1080p、18 段英文对白的样片,各阶段最终成功尝试的耗时:

阶段 耗时 占比
英语识别 10.78 秒 0.9%
翻译 84.86 秒 7.2%
18 段配音(串行) 533.96 秒 45.2%
18 段回识别质检 132.18 秒 11.2%
混音与完整导出 326.08 秒 27.6%
其他 4 个小阶段* 93.18 秒 7.9%
合计 1181.04 秒(约 19 分 41 秒) 100%

* 探测抽音 1.48 秒、分离结果下载恢复 89.41 秒、参考音 0.72 秒、拟合规划 1.57 秒。

边界说清楚:这是成功尝试的耗时之和,不是用户实际等待时间;分离那一步复用了已有的远端任务,没有完整的推理计时。

瓶颈一眼可见:配音串行跑,占了将近一半。生产目标是单条 90 秒视频热启动 8–10 分钟出片,这个数字还没经过完整压测,我先不承诺。

6. 还差什么

  • 人工听审:样片还没通过逐句听审,这是最重要的一关
  • 授权:OmniVoice 代码是 Apache-2.0,但官方预训练权重是 CC-BY-NC。在拿到商用授权,或者换成验收过的商用 TTS 并重新做基准之前,我不收钱
  • 字幕位置:中文字幕开头和原片的姓名条重叠了,要做避让
  • 中→英实测:接口已支持,完整链路还没在线上跑过一次,这是下一步
  • 更多语言方向:语言目录已接入,但每种语言都要单独做质检和听审;日语测试暂停了
  • 线上稳定性:今天(11-19)人声分离用的 HF Space 更新了版本,和后端锁定的版本对不上,完整流水线会在分离这一步失败(报错码是 INVALID_MEDIA,有误导性,视频本身没问题)。修复前,接口只建议跑到 quick 级别

7. 接口文档:自己调一次

这个服务有一套公开的后端接口。与其听我说“能跑通”,不如自己调一次。

入口

用途 地址
API 基地址 https://video-translate-gateway.moosemosse19.workers.dev
交互式文档(推荐) /docs
Swagger UI /swagger
ReDoc /redoc
OpenAPI 3.1 规范(可导入 Postman / Apifox) /openapi.json
健康检查 /_gateway/health

请求先进 Cloudflare Workers 网关,网关签名封装后转发到 Hugging Face 上的后端。调用方只管发标准 REST 请求。

认证:注册或登录后拿到会话 Cookie 和 csrf_token;之后所有写请求都要带上 Cookie 和 X-CSRF-Token 请求头。编辑类接口带版本号(revision),版本过期返回 409,防止并发覆盖。

一条完整翻译的调用顺序

步骤 接口 作用
1 POST /api/auth/register、/api/auth/login 注册 / 登录
2 POST /api/projects 建项目,指定 source_language 和 target_languages(如 en→zh,或 zh→en)
3 POST /api/projects/{id}/source 上传视频(multipart)
4 POST /api/projects/{id}/runs {"stage":"probe"} 媒体探测,拿到精确时长
5 PUT .../source-selection、PUT .../fit-settings、POST .../language-tracks 选区、时间对齐策略、目标语言轨
6 POST .../workflow {"action":"analyse"} 抽音 → 人声分离 → 识别
7 POST .../references/extract、PUT .../speakers/{sid}/reference 截取每个说话人的参考音并绑定
8 POST .../pipeline 翻译 → 克隆配音 → 质检 → 对齐 → 混音导出
9 GET .../deliveries/{did}、GET /api/assets/{aid}/content 拿到成片清单,下载 MP4 / SRT / VTT

改一句译文、换一个角色的音色,不用重传视频:PATCH .../language-tracks/{tag}/segments/{seg} 改译文,POST .../language-tracks/{tag}/synthesize 只重算改过的句子,再 POST .../fit-plans 和 POST .../deliveries 重新导出。

最简单的测试:先 curl 一下健康检查

curl -s https://video-translate-gateway.moosemosse19.workers.dev/_gateway/health

返回里 "status": "healthy"、"tunnel_verified": true 就说明网关和后端都通。

再用脚本跑一次

我写了一个只依赖 requests 的 Python 测试脚本:vt_smoke.py。它分三级:

  • health:只查网关和后端状态
  • quick(默认):一次性测试账号 → 建项目 → 上传 → 探测时长,并打印服务端和本地的 SHA-256 供核对。不触发 GPU 推理
  • full:跑完整流水线并下载成片,--src / --dst 指定语言对。脚本暂不切换识别模型:--src zh 需要先在服务配置里把识别改成 Whisper large-v3(hf_asr),否则返回 UNSUPPORTED_LANGUAGE
pip install requests
curl -O https://www.minghao.si/code/vt_smoke.py
python vt_smoke.py quick --input demo.mp4
# 完整流水线(目前见下方说明):
# python vt_smoke.py full --input demo.mp4 --src en --dst zh --out ./out

我自己今天用一段 7 秒的英文片段跑了一次 quick,输出如下(账号是脚本生成的一次性账号;为了篇幅,省略了账号和项目 ID,SHA-256 只保留首尾):

▶ health ...
  gateway=healthy tunnel_verified=True latency=335ms
  backend ok=True service=video-translate-production environment=development
  ✓ health 1.8s
▶ 登录/注册 ...
  ✓ 登录/注册 1.2s
▶ 创建项目 ...
  ✓ 创建项目 0.7s
▶ 上传视频 ...
  ✓ 上传视频 4.6s
  bytes=420563 sha256=26b0f103…530650 (本地 26b0f103…530650)
▶ probe ...
  ✓ probe 11.4s
  时长 7000 ms
✓ quick 通过, 总耗时 19.7s

使用前请注意

  • 后端目前报告的是 environment=development,这是开发环境,不是收费的生产服务,不保证可用性;为了控制推理成本,我可能随时限流或关闭注册
  • 今天人声分离的上游版本漂移还没修,full 会在分离这一步失败;修好之前请跑 quick
  • 线上默认的语音识别只接英文源、单条不超过 120 秒;中文源要先把识别切换到 Whisper large-v3
  • 流水线有人工检查点:确认原文和角色、确认译文、逐句听审。脚本会自动放行这些检查点,只是为了让流程能走完,自动放行 ≠ 人工听审通过
  • 只上传你自己拥有或已获授权的视频

8. 最后

做之前,我以为难点是“找到最好的声音模型”。跑完一轮才发现,模型只占一小部分。真正的工作,是把这些会失败的零件接成一条可以恢复、可以局部返工、每一步都说得清楚的装配线。

下一步很具体:修好分离服务的版本漂移,跑通一条真实的中→英产品讲解,逐句听审,解决 TTS 授权,把串行配音改成并行。

如果你手里有想做成英文版出海的中文产品视频、海外课程,或者一批拿到授权、想做成中文版的内容,订阅本站。等它能处理真实订单的那天,订阅者会先收到邮件。

先 ship,再变好。


引用

本服务接口

Footnotes

  1. k2-fsa/OmniVoice:GitHub ↩ ↩2

  2. 配音(Dubbing)的定义与行业做法:Wikipedia: Dubbing ↩

  3. 本地化(Language localisation):Wikipedia: Language localisation ↩

  4. ElevenLabs Dubbing:elevenlabs.io/dubbing ↩

  5. HeyGen Video Translate:heygen.com/translate ↩

  6. YouTube 官方博客,Unlock a world of viewers with multi-language audio:blog.youtube ↩

  7. Rouard, Massa, Défossez. Hybrid Transformers for Music Source Separation. arXiv:2211.08553 ↩

  8. Radford et al. Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356 ↩

  9. Qwen3-235B-A22B-Instruct-2507:Hugging Face ↩

  10. Rubber Band Library:breakfastquay.com/rubberband ↩

喜欢这篇?订阅后续更新

日常更新 · 不刷屏

AI 前沿、学习笔记和独立做产品的一手经验,写好就寄给你。

  1. 填邮箱
  2. 去邮箱点确认
  3. 收到第一封

订阅 AI 长文、学习笔记和雷达周刊,每封信底部都能一键退订。

习惯用阅读器?用 RSS 订阅

觉得有用?

来小红书找我聊,评论区见。

去小红书(在小红书打开)