科学家开发DIRFA:输入图片和音频,可生成说话视频
智能科技 2023-11-172486user639632
11 月 17 日消息,来自新加坡南洋理工大学(NTU Singapore)的科研团队近日开发出了 DIRFA 工具,用户给一张图片以及音频内容,可以自动生成 3D 视频,并实现口型和声音的同步协调。
DIRFA 的全称为 DIverse yet Realistic Facial Animations,训练了超过 6000 多人的 100 万个视频片段,音频片段来自一个名为 VoxCeleb2 数据集的开源数据库,并关联面部表情和头部运动。
研究人员表示,DIRFA 可能会在包括医疗保健在内的各个行业和领域带来新的应用,因为它可以实现更复杂和逼真的虚拟助手和聊天机器人,从而改善用户体验。
DIRFA 还可以作为言语或面部残疾人士的强大工具,帮助他们通过富有表现力的头像或数字表示来传达他们的想法和情感,从而增强他们的沟通能力。
【来源:IT之家】
The End
相关阅读
- 中国快递协会:快递新规不要求必须上门投递,与客户协商一致即可
- 华为正在申请注册“遥遥领先”商标:当前状态为等待实质审查
- 机构:台积电2nm量产将延迟至2026年底
- 双重安全!两台问界M7“狭路相逢”:同时触发AEB刹停
- 小米 120W 小布丁氮化镓充电器亮相,2024 年米粉节首发
- 云辇 Z悬架有多稳 仰望U7波浪路表现碾压宝马7系
- 第四季度交付量环比下滑10% Rivian股价暴跌10%
- iOS 17.4为iPhone 12带来了对Qi2 15W无线充电的支持
- 理想汽车App上线“在线报案”功能:可完成车辆报案、定损、预约维修等流程
- 大V测方程豹百公里油耗18升,比亚迪直接公布超速数据:律师回应可当证据