AniTalker:开源照片+音频视频生成器

206次阅读
没有评论

AniTalker:开源照片 + 音频视频生成器

AniTalker,这是一个创新框架,旨在从单个肖像中生成栩栩如生的说话面孔。现有模型主要关注唇形同步等语言线索,无法捕捉面部表情和非语言线索的复杂动态,与此不同的是,AniTalker 采用了通用的运动表示。这种创新的表现方式有效地捕捉了广泛的面部动态,包括微妙的表情和头部运动。

AniTalker 通过两种自监督学习策略增强运动描绘:第一种涉及从同一身份内的源帧重建目标视频帧以学习微妙的运动表示,第二种使用度量学习开发身份编码器,同时主动最小化身份之间的互信息和运动编码器。这种方法确保运动表示是动态的并且没有特定于身份的细节,从而显着减少对标记数据的需求。此外,扩散模型与方差适配器的集成允许生成多样化且可控的面部动画。

这种方法不仅展示了 AniTalker 创建详细且真实的面部动作的能力,而且还强调了其在为现实世界应用制作动态头像方面的潜力。

开源地址:https://github.com/X-LANCE/AniTalker

正文完
 0
老马
版权声明:本站原创文章,由 老马 于2024-05-14发表,共计414字。
转载说明:本站提供的一切软件、教程、电子书、视频、图片、音乐、文字以及所有内容信息仅供个人学习、研究或欣赏;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网友分享及网络收集整理,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢相关内容信息,请支持正版,进行购买注册,以得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!侵删请致信E-mail:tntwl@qq.com
评论(没有评论)