孪生宇宙申请基于扩散Transfomer架构的数字人视频生成系统专利,降低计算复杂度
作者:eric 时间:2025-08-21
导读:金融界2025年8月18日消息,国家知识产权局信息显示,合肥孪生宇宙科技有限公司申请一项名为“一种基于扩散Transfomer架构的数字人视频生成系统”的专利,公开号CN120499471A,申请日期...
金融界2025年8月18日消息,国家知识产权局信息显示,合肥孪生宇宙科技有限公司申请一项名为“一种基于扩散Transfomer架构的数字人视频生成系统”的专利,公开号CN120499471A,申请日期为2025年05月。
专利摘要显示,本发明提供一种基于扩散Transfomer架构的数字人视频生成系统,该系统的建立方案包括以下内容:搭建多模态条件编码器,其中语音信号经Whisper模型提取音素‑韵律特征;搭建时空DiT主干网络,包括空间注意力层;时间卷积层;自适应归一化层;针对每一层,采用的分层训练策略包括第一阶段:冻结CLIP编码器,在Laion‑5B数据集预训练基础扩散模型;第二阶段:在VoxCeleb2视频数据集微调时空注意力模块;第三阶段:基于RLHF框架对齐人类审美偏好;针对实时推理部分进行优化。
本文源自金融界
随便看看:
- [科学探索]那些你不知道的事!盘点人类不知道的15件事情
- [科学探索]盘点太古时代的恐怖生物,沧龙可咬断霸王龙(曾称霸地球)
- [科学探索]什么是投射效应?投射效应的生活例子(拒绝以己度人)
- [科学探索]香蕉皮理论是真的吗?超光速穿越可以改变过去吗
- [科学探索]半人马座阿尔法星位置 半人马座有生命吗
- [科学探索]火星上是否有生命存在,空气稀薄气温-100度(没有生命)
- [科学探索]中国登月计划为何终止?背后的真正原因让人诧异
- [科学探索]蒙托克飞马火星计划,能穿越时空前往未来火星基地
- [科学探索]2023小行星撞击地球,直接摧毁一个洲(真相揭秘)
- [科学探索]观察者效应是什么?被观察者的行为会受到观察者影响
相关推荐:
网友评论:
推荐使用友言、多说、畅言(需备案后使用)等社会化评论插件
栏目分类
最新文章
热门文章