克隆人训练 素材上传与模型生成过程
训练的四阶段
创建克隆人后,平台会依次执行四个训练阶段:
| 阶段 | 内容 | 时长参考 |
|---|---|---|
| 素材审核 | 平台自动 + 人工抽检检查素材合规性 | 几分钟到半天 |
| 声音模型生成 | 从语音素材训练出声学参数模型 | 几小时 |
| 视觉模型生成 | 从视频/图片素材训练出外貌和动效模型 | 几小时 |
| 记忆库注入 | 将填写的文本信息写入克隆人的上下文记忆 | 即时完成 |
素材审核
上传的文本、语音和视频会先过一轮合规检查:
- 语音和视频中不允许出现违法违规内容
- 视频素材不允许包含他人肖像(除非获得授权)
- 文本描述不允许包含敏感词
审核不通过的素材会被打回,需要修改后重新提交。
声音模型
详见 声音模型训练详解。这里简单说明:训练完成后,克隆人可以在语音通话和视频通话中用自己的声音说话。
视觉模型
详见 视觉模型训练详解。训练完成后,视频通话中的克隆人会有接近真人的外貌和动效反应。
质量的影响因素
克隆人最终质量由以下几个因素决定:
- 素材的数量和质量(越多越好,但少量也能启动)
- 素材的多样性(不同场景、不同情绪下的录音和视频)
- 记忆库的填充丰富度
- 用户后续通过「调教」功能持续优化
可以追加训练吗
可以。创建后随时可以追加上传新的语音和视频素材,平台会增量更新模型,不会从零开始。这对持续优化克隆人的声音效果特别有帮助。