阿里巴巴推出AtomoVideo高保真图生视频框架,兼容多种文生图模型
智能科技 2024-03-081348were65768
3 月 7 日消息,阿里巴巴研究团队近日推出了 AtomoVideo 高保真图生视频(I2V,Image to Video)框架,旨在从静态图像生成高质量的视频内容,并与各种文生图(T2I)模型兼容。
IT之家总结 AtomoVideo 特性如下:
高保真度:生成的视频与输入图像在细节与风格上保持高度一致性
运动一致性:视频动作流畅,确保时间上的一致性,不会出现突兀的跳转
视频帧预测:通过迭代预测后续帧的方式,支持长视频序列的生成
兼容性:与现有的多种文生图(T2I)模型兼容
高语义可控性:能够根据用户的特定需求生成定制化的视频内容
AtomoVideo 使用预先训练好的 T2I 模型为基础,在每个空间卷积层和注意力层之后新添加一维时空卷积和注意力模块,T2I 模型参数固定,只训练添加的时空层。由于输入的串联图像信息仅由 VAE 编码,代表的是低层次信息,有助于增强视频相对于输入图像的保真度。同时,团队还以 Cross-Attention 的形式注入高级图像语义,以实现更高的图像语义可控性。
目前,该团队只发布了 AtomoVideo 的论文及演示视频,并未提供在线体验地址。同时官方开设了 GitHub 账户,但仅用作官方网站托管,并未上传任何相关代码。
【来源:IT之家】
The End
相关阅读
- 消息称贝尔金将推出苹果Vision Pro官方电池夹,解决无口袋尴尬
- 起售24.98万,标配双电机四驱,理想L6要死磕问界M5和M7
- T3出行大数据:青年、银发族群体最爱打车赏花
- 余承东没说大话!阿维塔11最新AEB测试出炉:95km/h车速可刹停
- 宝马将在德国推出 L3 级自动驾驶系统:可边开车边看视频
- 微软押注人工智能获高速增长,Azure云业务增速仍然放缓
- 比亚迪海豹 EV、宋 Plus DM-i 冠军版车型迎来 OTA1.2 更新
- 中国谷神星一号遥九运载火箭发射成功!民营火箭首次晨昏轨道发射
- 英特尔酷睿 7 150U 处理器曝光:去掉 i 标识,老款型号马甲
- 苹果Vision Pro还要经历四代才能完善:现在只能算是原型