最近,Picsart AI Research等团队发布了一款名为StreamingT2V的AI视频模型,能够生成长达1200帧、时长达2分钟的视频,这在技术上超越了之前备受关注的Sora模型。StreamingT2V的发布不仅在视频长度上取得了突破,而且它是一个免费开源的项目,可以无缝兼容SVD和animatediff等模型。
在Sora之前,市场上的视频生成模型如Pika、Runway、Stable Video Diffusion(SVD)等,通常只能生成几秒钟到十几秒的视频。Sora的出现以其60秒的视频生成能力成为行业的新标杆。然而,StreamingT2V的推出则在时长上有所突破,理论上还可以做到无限长。这为视频生成领域带来了更多可能性。
StreamingT2V的架构采用了先进的自回归技术,能够创建具有丰富运动动态的长视频,同时保持视频的时间一致性和高帧级图像质量。这与现有的文本到视频扩散模型的不同之处在于,这些模型通常集中在高质量的短视频生成上,而在扩展到长视频时往往会出现质量下降、表现生硬或停滞等问题。StreamingT2V通过引入条件注意力模块(CAM)和外观保留模块(APM),以及一种随机混合方法,有效地解决了这些问题。
CAM作为短期记忆块,通过注意机制调节当前一代的视频,以实现一致的块过渡;而APM作为长期记忆块,从第一个视频块中提取高级场景和对象特征,防止模型忘记初始场景。此外,StreamingT2V还利用高分辨率文本到视频模型对生成的视频进行自动回归增强,以提高质量和分辨率。
目前,StreamingT2V已经在GitHub上开源,并在huggingface上提供了免费试玩。尽管服务器负载可能较高,但用户可以尝试输入文字和图片提示来生成视频。
StreamingT2V的发布不仅为视频生成领域带来了新的技术突破,也为开源社区提供了一个强大的工具,有助于推动相关技术的发展和应用。未来,我们或许可以期待更多基于这类技术的创新应用,例如在电影制作、游戏开发、虚拟世界构建等领域发挥重要作用。
StreamingT2V的推出为视频生成技术带来了新的突破,但这个领域的发展不会就此停止。我们期望未来会有更多类似的技术涌现,为视频生成领域注入新的活力和能量。
最后,如果你对此有任何疑问或建议,请在下面的评论区留言。同时,也欢迎您通过关注我们的公众号获取更多有关人工智能和科技的信息。
感谢您的观看,希望这篇文章能为您带来一些有用的信息。如果您对本文感到满意,不妨留下一些点赞或分享,这将是我们最大的鼓励。