查看原文
其他

Sora再遇劲敌?Luma视频生成打造大片既视感,全网已刷屏!| AI评测

麦飞 AI新榜
2024-09-24


作者 | 麦飞

编辑 | 张洁


最近的视频生成领域真是换挡提速了。


最近发布且对标Sora的就有快手可灵、Vidu、视界一栗YiSu等多位玩家,日前美图版Sora也曝光了最新AI短片。

如今,又一匹黑马选手Luma前来炸街,火速推出了Dream Machine,让Sora的竞争者又添一名。


(Luma官方宣传视频)


“头号AI玩家”也在首发当日就兴冲冲地登上Dream Machine,准备领略一番,但奈何服务器负担太重被挤了出来。彼时大洋对岸可是深夜,Luma的热度不言自明。



不得不说免费的东西就是香,何况Luma这回还是真香。


本次Luma推出的Dream Machine是一款同时支持文生视频和图生视频的AI工具,“双卡双待”。它生成的视频质量都很出彩,不仅能够保持角色的一致和流畅自然的动作,还能呈现出逼真的物理效果。写实、动画or游戏,多种风格它都能轻松拿捏,让每个视频看上去都生机勃勃。

(写实风)


(动画风)


(超现实)


同时,Dream Machine的迭代速度很快,可以每秒1帧的速度生成视频,两分钟左右就能生成一个5s的高质量视频。据悉,这很可能是由于它使用了AWS SageMaker HyperPods和NVIDIA H100 GPU进行训练,还采用了高效可扩展的Transformer模型作为技术支撑。
 
想要访问Dream Machine也很简单,用户只需前往官网点击“Try Now”按钮,按要求登录谷歌账号,然后在提示栏中输入文字或图片,静静等待即可。如果用户一时半会想不到提示词,还可以在系统预先准备的六条中进行选择,十分好操作。


不过这种直接粗暴的玩法也引起了网友吐槽,因为它无法满足调整视频细节的需要。如果用户只能通过二次生成或修改提示词来提高满意度,那么中间的多次迭代机会都会被白白浪费。毕竟Luma还不支持无限次生成,机会迭代一次少一次。
 
这个点在这里先留个悬念,“头号AI玩家”之后还会继续探讨。
 
现在,我们还是先动手测试一下,看看Dream Machine的实际表现到底如何。(PS:Luma在14号已开启每人每天最多免费迭代10次的限制,本文所有实测结果均为一次性生成)


实测Dream Machine,看它对现实的理解有多深

文生视频

我们先给它一个简单的提示当做开胃菜。

比如“在白茫茫的雪地里,一只北极熊正缓缓走来,写实风格”,看它是否知道在雪地上留下脚印。


总体上说Dream Machine的生成质量还不错,比较逼真地还原了北极熊的行走姿态。但它对雪地边缘的晕染还不够自然,并且试图以这种方式把脚印的问题蒙混过关。


接下来试试更复杂的提示。我试着让它生成一位衣袂飘飘的少女,附带要求周围的环境配合风进行运动。


提示:一个妙龄少女站在海边,穿着纱质白裙。海风吹来,浪花拍打着海岸,女孩的袖子和裙摆随风飘动。远景,亚洲人,披肩发,写实风格。



相比第一个任务,这次明显渲染规模更大,任务更多,但Dream Machine完成得依旧不错,基本实现了浪花碰撞、发丝波动等效果,并捕捉到了人物向大海喊话的镜头。


而且它还挺细心的,连人说话时颧骨处肌肉发力的细节也考虑到了。


不过,人物头上游走的布料还是有点混搭,一会儿像头纱,一会儿像肩上的丝带。可能是Dream Machine一次性有了两个灵感,但无法做出恰当的取舍。


我们继续丰富提示的描述,以测试Dream Machine是否能驾驭复杂的光影效果,比如类似王家卫式的伦勃朗光。


提示:夜晚的都市街头,一位身着西装的男士正漫步在繁华街区。街道两侧,一系列精致的橱窗展示着最新的时尚单品。柔和的灯光透过玻璃照射在商品之上,和远处的霓虹灯交相呼应。请据此展现都市街头的夜间光影。



从视频来看,Dream Machine对光影的驾驭还是值得肯定的,但是它在情节逻辑性上的表现直转急下了。具体来说,画面中的男主角不仅多次变脸,向他走来的服务员也能穿人而过,多少有点阴间。


“头号AI玩家”还注意到,不少X平台上的用户都赞扬Dream Machine的拍摄角度很专业,镜头模拟几乎达到电影级水准。因此,我们不妨也用它来模拟下摄像机的抖动效果,看它处理的如何。


提示:大雨过后,一个小孩子穿着凉鞋在公园的步道踩水。请在视频中加入轻微的手持抖动效果,就像随手记录的一样。



由于视频生成的过程很像抽盲盒,在点开视频之前我多少有点忐忑。不过点开以后就没事了,因为悬着的心终于死了。


视频中小孩子奔跑的速度,不禁让我想起电影《功夫》中周星驰和包租婆你追我赶的名场面。而且这个国外的小朋友,也轻松地掌握了失传已久的轻功水上漂。


对此我只能说,Luma这个视频中展现的功力相当初学者。


图生视频


Luma比较差异化的地方是它支持图生视频,这也是它领先于可灵的地方。


在X上围观后,“头号AI玩家”发现Luma对图片续写的审美还不错,对图片原有场景和风格的保持度也挺好。于是我们抓紧上手试了试,看这个功能还能整出哪些活。


首先,我们喂给它一张经典表情包——张译吃面条。


(生成前)

鉴于之前已有不少X平台的网友拿“史密斯吃面”的梗考验过它,为保持Dream Machine的新鲜感,我们特地换了一个人吃面条。

(生成后)

可能是张译对美国的Dream Machine来说比较小众,所以它并没有经受住我们的考验,生成的吃饭动作还是一眼假。

而且不知道是不是我的幻视,张译在后半段居然变成了雷佳音……

如果你对名人没有兴趣,还可以试试用Dream Machine启动一下你的玩具。

(生成前)

(生成后)

除此之外,X上流行的生活照续写玩法也很有趣,能让多年前的瞬间再度活过来。

在这里“头号AI玩家”选择了一张摩登家庭的合影,够生活也够回忆杀。

(生成前)

(生成后)


最后,我们还可以用Dream Machine假装live图。这样一来就算是P过的图也可以有Live模式了,主打一个真假难辨。


(生成前,图源X)

(生成后,图‍源X)


Luma这波宣传真是上大分了

除了在视频生成方面的表现,Luma的爆火与背后的线上推广不无关系,其中有官方动作也有自来水军。

各位或许在网上看到了不少用Dream Machine制作的长视频,这些视频背后的幕后推手,很多是AI创作者或电影制作人。

举个栗子,Christopher Fryant,这位在3D圈和电影圈都小有名气的人物,在Dream Machine上线当日就祭出了时长1分14秒的预告片《Gala》,直接收获百万网友在线围观。


我们也把这段视频放出来,给大家感受一下。



UTA代表电影导演Dave Clark也是如此,他不仅在第一时间展示了一段1分31秒的视频,还大方揭秘,称作品只用到了图生视频功能。推文最后,Clark贴心地附上了Luma地址,邀请网友一同参与。



从公关的角度来看,Luma AI很聪明。


它提早邀请了多位知名KOL联合内测,并在KOL发布测试作品后积极转发,提升了Dream Machine的线上影响力。


不过,也不是所有人对Luma都买账。这里咱们就要书接上回,说到开头提过的利用率问题了。


X平台博主Abel Art在参与内测后也发布了相关视频,但他在另一篇推文中表示,自己为完成这条1分10秒的视频,一共花了两三天时间,大概迭代了633张图。如果刨开其中随机的150张图不算,这个视频也要消耗掉500张图左右。



为此,Abel Art自费了500美金开通Dream Machine的“Premier”版本,以获得能连续生成2000张图的权限。与之相比,下一档的“Pro”版本就只允许迭代400张了。


聪明的你如果做完了这道数学题,一定已经得出这个视频的成本共计125美金,也就是500美金的1/4。而Abel Art表示,这正好是租用一天电影镜头的价格。换个低情商的方式来说,Dream Machine费时费力。


然而让人惊讶的是,Luma居然连这一步都料到了。它甚至一早就在官网里诚恳表示:私密马赛用户酱,我们现阶段还不够好,出现以下四个问题请见谅。



这四个问题分别是——图像易变形,处理动作时可能无法平滑过渡,文本易出错,有时会出现动物长了两个脑袋的惊悚画面。

好吧,既然话都让Luma说了,那“头号AI玩家”也只能夸奖它的自知之明了......

同时,Luma对用户的响应也很及时,善于提供情绪价值。

就说这两天,由于Luma热度太高,服务器跑不动,所有用户都要排着队等待视频生成,体验感很差。

Luma对此二话不说,果断将规模扩大了10倍。


面对网友后续依旧卡顿的吐槽,Luma也没有坐视不理,而是在评论区贴心询问——那你看我还能帮上什么忙吗?


单论这个服务态度,别家巨头还真学不来。


AI视频生成到底哪家强

依照田忌赛马的规则,“头号AI玩家”选择先用Dream Machine和Pika、Runway进行首轮对比。

如果Dream Machine还无法与它们匹敌,也就不消说对抗Sora和可灵了。

对于这个问题,X平台科技博主Curious Refuge已发布了很直观的对比视频,用来说明Dream Machine在镜头节奏上更为出色,轻松胜过Pika和Runway。



所以,我们是时候拿它和Sora、可灵一较高下了。

由于Sora目前未开放公测,“头号AI玩家”只能延续此前可灵和Sora的对比方式,用相同的提示词来检测各自的视频质量。

这次选择的片段依旧是很有名的“东京女人”。

a stylish woman walking down a Tokyo street filled with warm glowing neon and animated city signage, wearing a black leather jacket, a long red dress, black boots, and carrying a black purse, with sunglasses and red lipstick. The street is damp and reflective, creating a mirror effect of the colorful lights, with many pedestrians walking about.

(Dream Machine)


(可灵)


(Sora)

从以上三段视频来看,Sora官方生成的版本无疑是本场最佳。不论是人物动作的流畅度、细节呈现的复杂度、东京街头的真实感,还是被雨水淋湿后反光的地面,Sora均能有所呈现。

而就Dream Machine和可灵的对比来说,“头号AI玩家”便只能给二位浅打个五分和六分了。如果说在之前的稿子中,“头号AI玩家”曾锐评可灵生成的“东京女人”表情扭曲,动作僵硬,那么Dream Machine则比可灵更甚。在场景的选择上,可灵也比Dream Machine视野更好,更具开阔感。

总而言之,如果只看东京女人的视频,那么效果大概是Sora>可灵>Dream Machine。

近日,Youtube博主Ludo Salenne也分享了自己用Dream Machine生成的“东京女人”,他同样表示对效果感到失望。


在他的视频中,不仅人物的腿部运动非常不自然,而且身高还会随着镜头的摇晃而增加。视频中出现的路人也往往看不清脸,画质很低。不过在视频接近尾声的时候,镜头中终于出现了一个高质量路人美女,但她的乱入让人直呼恐怖。


不过开放是Dream Machine的最大优势,它允许用户能自由地创作任何幻想的东西,并允许用户自行优化。

同时,Dream Machine还提供了移动应用程序,就连在手机上使用也没问题。

当然,以上只是目前对Dream Machine的实测分享,后续我们还会持续跟进。不知各位玩家认为,AI视频生成工具到底哪家强?欢迎在评论区留言,也欢迎向我们推荐更多AI工具,我们会争取第一时间评测。



「头号AI玩家交流群」进群方式:添加微信“banggebangmei”并备注姓名+职业/公司+进群,欢迎玩家们来群里交流,一起探索见证AI的进化。


欢迎分享、点赞、在看

 一起研究AI



继续滑动看下一个
AI新榜
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存