机器之心报道
编辑:Panda
广阔的战场,风暴兵在奔跑……
prompt:Wideshotofbattlefield,stormtroopersrunning
为此,该团队提出了条件注意力模块(CAM)。得益于其注意力性质,它可以有效地借用之前帧的内容信息来生成新的帧,同时还不会让之前帧的结构/形状限制新帧中的运动情况。
方法
条件注意力模块
其中特征提取器使用了逐帧的图像编码器,之后是与Video-LDMUNet直到中间层一直使用的一样的编码器层(并通过UNet的权重初始化)。
外观保留模块
为了让APM能平衡处理锚帧和文本指令给出的引导信息,该团队做出了两点改进:(1)将锚帧的CLIP图像token与文本指令的CLIP文本token混合起来;(2)为每个交叉注意力层引入了一个权重来使用交叉注意力。
为此,该团队的解决方案是随机混合方法。具体详情请参阅原论文。
实验
在实验中,该团队使用的评估指标包括:用于评估时间一致性的SCuts分数、用于评估运动量和扭变误差的运动感知扭变误差(MAWE)、用于评估文本对齐质量的CLIP文本图像相似度分数(CLIP)、美学分数(AE)。
消融研究
为了评估各种新组件的有效性,该团队从验证集中随机采样75个prompt执行了消融研究。
长期记忆:图6表明长期记忆能在自回归生成过程中极大帮助维持对象和场景的特征稳定。
在一个定量评估指标(人再识别分数)上,APM实现了20%的提升。
StreamingT2V对比基线模型
更多研究细节,可参考原论文。
国产品牌发力,三款全新轿车来袭,能把合资比下去?
在过去的2月份,我们已经可以惊喜地发现SUV销量排行榜前十里面,中国品牌SUV已经占据了半壁江山。其中不乏哈弗H6、长安CS75这样的常青藤车型,以及比亚迪宋(宋PRO、宋PLUS)、欧尚X5等新晋选手。第三代哈弗H6宋PLUSDM-i但来到轿车前十名,中国品牌就只有宏光MINIEV和秦PLUSDM...
国五升国六,依维柯房车暴跌15万?房车的成本价是多少?是暴利吗
汽车会越来越便宜的,房车也不列外,原价45万的依维柯房车,现在降了15万,30万就能入手了,很多人问为什么会降这么多?是不是房车太暴利了?答案肯定是不是的,其实国内的房车厂家很多,几千家都不止,但没有几个赚钱的,大部分都在亏钱或者是维持。我们先算一下这款依维柯的成本,欧盛底盘自动挡的在20万左右,高...
新一代大众速腾曝光,明年国产上市,未来还要上1.5T插混动力?
『说一车』原创新车:近日,海外版全新大众JettaGLI谍照正式曝光,从谍照当中我们也能了解到一些关于新一代大众速腾的大致样貌,预示着新车即将国产……▼新一代速腾何时国产?会有哪些改变?根据公开资料显示,早在2022年年底,新一代一汽-大众速腾(代号VW381/0CN_K)技术改造项目已经启动,拟建...
当厦门第一家遇上梅开二度的老品牌,谁才是海鲜姿造界的大哥?
悦鼎会舒友尝鲜餐厅这是傲客自费试吃第896、897家,尝鲜评级通过第169、170家餐厅若说厦门名气最响的海鲜姿造,莫过于悦鼎会和舒友。一个是开创厦门海鲜姿造的第一店,一个是厦门老牌酒楼的强势截胡。而这两家到底是什么水准?让我来告诉你!身为一个沿海城市的土著,吃海鲜也算不得什么新鲜事。但尽管在海产丰...