尽管视频领域在不断进步,但它仍然是少数挑战生成人工智能的领域之一。
Lumiere,谷歌使用人工智能创建视频的新工具
人工智能不断发展
谷歌推出了 Lumiere,这是一款人工智能驱动的视频生成器,被描述为“用于生成真实视频的时空扩散模型”。
这项创新技术似乎能够生成具有真实动作 和广泛表现形式的视频,将自己定位为迄今为止最先进的基于人工智能的视频生成器之一。
在演示过程中,演示了如何将文本转换为各种动物的图像,每种动物都有其独特的风格。尽管其结果还远不能与传统的电影或动画相媲美 ,但每一项进步都越来越令人信服。
Lumiere 凭借其独特的架构在其他视频生成模型中脱颖而出。与合成远距离关键帧然后进行时间超分辨率的当前模型不同,Lumiere同时输出视频的整个时间序列。
这种方法可以实现端到端的时间一致性,确保生成的视频流畅且均匀。 Lumiere 同时处理视频的时空方面,使其能够从整个过程的开始到结束连续生成视频。
卢米埃尔的主要特点
尽管仍在开发中,Lumiere 承诺提供一系列令人印象深刻的功能,突显其作为基于人工智能的视频生成器的潜力。这些功能包括:
从文本生成视频:Lumiere 能够将书面说明转换为全新的视频。
将图像转换为视频:通过将静态图像转换为视频,Lumiere 将运动和活力注入照片或插图中。
基于风格的视频生成:使用参考图像,Lumiere 可以生成具有特定风格的视频。
基于文本的视频编辑:Lumiere 可以通过基于文本的命令轻松编辑视频,从而轻松创建高质量的视觉内容。
视频重建技能:卢米埃尔可以按照第二条指令改变视频中物体的外观,例如修改所描绘人物的服装。