在使用小海豚数字人产品前,请先仔细阅读此文档,能够让你在实际使用中节约不少时间,如果文档中有未说明的问题,希望得到你的反馈和建议。
- 克隆数字分身:可以克隆任何人的形象视频(如果克隆别人请先获得授权) - 极速克隆
- 克隆真人声音:录制一段自己的声音即可训练处自己的AI音色 - 短视频创作必备
- 视频拍摄条件:无需布景灯光等专业设备,直接拍摄实景,拍摄过程只需要说1234567即可。
一、小海豚数字人是什么?
1.1 小海豚数字人的背景
小海豚数字人是基于dqAdmin框架和dq-Human智能大模型进行开发的,它能够将人物视频中的口型与目标语音同步,使得视频中的人物口型与语音匹配得非常准确。与目前市面上的同类AI模型相比,dq-Human能够处理动态视频,并且效果优于其他模型。
简单来说数字人是就是利用人工智能算法实现视频中人物口型与音频同步的技术,它通过深度学习算法自动识别视频中人物的口型,并将其与音频同步,以达到高度真实的对嘴效果。并将你的声音克隆高度还原后,仅仅需要输入文案,就能制作出高质量的口播视频。
1.2 小海豚数字人的技术特点
dq-Human视觉AI模型拥有得天独厚技术方案
- 深度学习驱动的口型同步:dq-Human模型基于深度学习技术,能够学习并理解语音与口型之间的复杂映射关系。通过大量的训练数据,模型能够准确预测出与特定语音相对应的口型变化,从而实现高度逼真的口型同步效果。
- 自适应动态视频处理:与传统的基于静态图像的方法不同,dq-Human能够处理动态变化的视频内容。这意味着模型可以实时适应视频中人物面部表情和头部姿态的变化,确保口型与语音始终保持同步。
- 多模态输入融合:该模型能够处理和融合多种类型的输入数据,包括音频信号和视频图像。通过分析音频中的语音特征和视频中的视觉特征,dq-Human能够生成更加自然和准确的口型动画。
- 高度逼真的视觉效果:dq-Human在生成口型动画时,不仅考虑了嘴唇的运动,还考虑了面部其他部位如舌头、下巴和脸颊的运动,以实现更加逼真的效果。这种细致的处理使得生成的动画在视觉上几乎无法与真实人物区分。
二、小海豚数字人有什么用?能解决什么问题
AI数字人的诞生是为了解决很多人不愿意出镜、不敢出镜、不会拍视频、拍不好、不会剪辑等问题。
1.1 小海豚数字人覆盖的场景
- 口播类IP:基于小海豚数字人创建的口播视频和真人无异,能够无缝衔接真人出镜的视频。
- 场景广泛:适用于情感博主、知识博主、国学博主、财经IP、职业顾问等,只要是真人类的口播IP都能适用。
- 复刻简单:只需要上传场景克隆、再克隆自己的声音或者选用公共的声音即可,一次复刻终身使用。
- 批量生产:克隆好的数字人可以批量生产视频,以前你一天可能只能拍几个视频,现在有了小海豚数字人,只需要输入文案就能生产视频。
1.2 你是否也遇到以下困难?
- 不知道如何拍摄,一上镜头就紧张
- 不懂选题,苦思冥想不知道应该写什么内容
- 拍摄太复杂,加上剪辑后期,一个视频要做个半天,做完都天黑了
- 养运营人员成本太高,赚的还没花的多
- 视频发出去没有流量,白忙活了好几天
三、小海豚数字人的4大优势
1.1 四大优势
- 人性化表现:数字人能够精准模拟人类的语言、动作和情感,提供高度的人性化体验。
- 自然语言处理:它们具备强大的自然语言处理能力,能够理解人类的语言并做出相应的回应。
- 可定制性和扩展性:数字人可以根据不同的应用场景进行定制,通过添加不同的程序和算法,提升其语音、行为和场景适应能力。
- 多样化应用场景:数字人的应用范围广泛,从教育到医疗,从娱乐到办公,无所不包。
- 多样化应用场景:数字人的应用范围广泛,从教育到医疗,从娱乐到办公,无所不包。
1.2 发展与应用
目前,数字人正处于一个快速发展的阶段。它们不仅成为公众关注的焦点,还吸引了资本的大量投入,成为融资的热点。国家政策的支持也促进了行业的健康有序发展。数字人已经被广泛应用于金融、政务、娱乐、零售、文旅等多个领域。
1.3 多端兼容
- 微信小程序:微信生态、独立入口,即开即用。
- 微信公众号:无需备案、无需认证、上线即用。
- 抖音小程序:抖音生态,玩法多样、终端自然流。
- 手机H5端:更方便、更高效,无平台门槛限制。
- 网页PC端:操作权限更大、制作视频更方便。
- 手机APP:支持自己打包成APP。
四、如何用小海豚数字人创建自己的数字人分身
1.2 复刻视频场景(分身场景)
1.3 场景拍摄技巧
- 确保面部特征没有被遮挡,并努力让面部清晰可见
- 不要使用有多人的视频
- 嘴巴要完整露出,避免遮挡
- 光线充足,脸部整体光线均匀
- 人脸不要太大,确保整张人脸都在屏幕区域内,人脸不要出屏幕
总结就是一句话:拍摄场景视频时,确保脸要一直在视频中出现,而且是正脸。
1.4 视频要求
尺寸 | 竖屏 9:16 |
清晰度 | 建议1080P |
帧率 | 不限 |
格式 | mp4、mov |
时长 | 不限 |
文件大小 | 不超过300M |
其他 | 确保每一帧都能检测到人脸 |
注:以上视频要求仅为建议值,不一定完全遵守,但是如果按照要求来做的话,效果会好很多、体验也会更加顺畅。 |
五、小海豚数字人如何克隆自己的声音
1.1 普通模式
普通模式克隆非常快速,只需要几秒钟就可以,选择对应的风格,按照风格所给出的文本照着阅读即可。
重点:录制的时候,周围千万不要有杂音,并且吐字要清楚,不要断断续续的录制,这个和克隆的效果有很大的关系。
文本朗读的质量关系到克隆的语音质量,在提交克隆之前,可以先听一下自己录制的语音,满意之后再提交训练。
1.2 专业模式
专业模式目前内测阶段暂未开放,由于克隆成本高昂,内测阶段建议大家使用普通模式。
六、如何基于分身快速批量生产视频
1.1 进入创作页面
1.2 文本驱动
文本驱动就是输入一段短视频的文案, 选择自己克隆的声音进行播放。
1.3 语音驱动
小海豚数字人的语音驱动,是录音的方式,暂目前不支持上传音频文件,这是由于H5的特殊属性,选择不了mp3文件导致的。
录音的好处:声音更加真实,以往需要面对镜头讲文案,而录音可以直接照着稿子念,再加上数字场景,和真人无异。
1.4 形象选择(数字分身场景)
创建数字人视频的时候,需要选择在此之前录制好的数字分身场景视频,建议不同的文案对应不同的数字场景,这样表现力会更加出众。
1.5 批量复刻数字场景
做过口播视频的同学都知道,以前一天只能拍几个视频,还比较耽误时间,有时候手里工作比较忙,还得要想办法抽出时间来拍视频。
利用小海豚数字人,你可以先把你几乎所有的场景都录制下来,做到批量克隆,后期在创作的时候,就不需要人再出镜了。
比如在茶室喝茶、在走路、在看书、在打球等等任意场景,只需要录制好视频即可。
在录制场景的时候,如果没有想好说什么,只需要对着镜头说:1231231234567,重复循环说即可或者你可以不用说话。
1.6 批量矩阵、文案+数字分身
同一个文案对应不同的场景是不是可以产出不同的视频?同理,相同的视频对应不同的文案也是可以产出全新的视频,这样交叉循环使用,就可以做到批量生产的效果。
假设你准备了10个数字分身场景,准备了一条文案,这时候就相当于你直接拍了10条视频。
反之,如果你准了10条文案,只有一个分身场景,也是同样可以产出10条视频
10个数字场景、10条文案等于100个数字人视频。
七、关于AI数字人接口算力值计费
接口 | 计费 |
免费接口 | 数字人复刻免费 声音克隆免费 专业声音20/次 合成视频免费 文案生成0.01/次 |
付费接口 | 数字人复刻免费 声音克隆免费 专业声音20/次 合成视频3/分钟 文案生成0.01/次 |
PRO接口 | 数字人复刻免费 声音克隆免费 专业声音20/次 合成视频2.4/分钟 文案生成0.01/次 |
免费/付费接口区别就是生成速度,效果都是一致,PRO接口效果好点性价比高!
八、小海豚数字人贴牌政策
不需要准备服务器、域名、也不需要完成各种备案,直接就可以上线运营。
准备一个已认证的公众号、准备微信商户就可以对接,API自行对接,我们不赚差价。
后台掌握在自己手里,自主定价收费。
小海豚数字人贴牌按年收费,首年价格会高于次年续费价格。
贴牌价格:¥2.98w/套/年,次年续费:¥1.68w/年
专属技术支持、协助配置上线、共享运营经验。
九、部署小海豚数字人到自己服务器
小海豚数字人也支持部署到自己的服务器,源码可以自行二次开发,可以选择这种方案。
多开源码部署:6.8/套,可以做无限个系统,给别人开子账户,相当于可以给别人贴牌。
这种方式,你将能把所有数据为己所控,数据库、源代码都在你自己的服务器上~
无论你选择哪种方案,我们都有专门的技术对接,二次开发都比较轻松。
十、小海豚数字人的使用条款
【小海豚数字人】使用协议 |
本声明将帮助您更好的在【小海豚数字人】平台(下称“本平台”)使用相关工具上传和管理您的作品。您若上传作品,即视为您以充分知悉并充分接受以下内容: 您作为使用者在本平台上传、发布的作品,应具有独立、完整的知识产权,不得侵犯他人知识产权等任何权利。 您在使用本平台及上传、发布作品时,应当自觉遵守国家法律、法规,遵守公共秩序,尊重社会公德、社会主义制度、国家利益、公民合法权益、道德风尚和信息真实性等要求。如有违反,一经本平台发现将根据违规程度采取包括但不限于删除、下架、禁止发布内容、封禁账号等处理方式。如造成恶劣影响或涉嫌违法犯罪的,本平台将有权向有关管理机关或公安机关提交相关内容,并配合进行调查。 若您上传的作品及作品中的素材(包括但不限于创意、文本、肖像、音频、图片、视频等)侵犯了任何第三方权利,本平台均有权在收到相关侵权投诉后对该被投诉的作品或用户账号依据相应规则,采取包括但不限于下架、警告、封禁账号等处理方式。 |
以上仅为部分案例,可根据自己需要创作~
若有收获,就点个赞吧
- 支付宝扫一扫
- 微信扫一扫