0
点赞
收藏
分享

微信扫一扫

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)


大家好,我是程序员X小鹿,前互联网大厂程序员,自由职业2年+,也一名 AIGC 爱好者,持续分享更多前沿的「AI 工具」和「AI副业玩法」,欢迎一起交流~

AI 现在已经可以一键创作剧本、生成分镜图了?

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI工具

今天介绍的这个一站式 AI 视频创作平台厉害了!

它可以自动将剧本拆分成分镜图,并转化成视频。还将多种视频编辑模式全部集合在了一个平台里!

视频编辑模式包含角色换脸、目标新增、目标消除、目标编辑、风格变换、超分辨率、帧率控制、图层拆解、图层融合。

是的,这个 AI 视频创作平台就是阿里达摩院的寻光。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI工具_02

在 7 月结束的上海世界人工智能大会(WAIC)上,阿里达摩院发布了这个一站式 AI 视频创作平台 「寻光」。

当时提交了寻光的内测申请,前几天通过了,今天试用了,写一下内测体验。

一起来看看吧~

一、生成故事板

点「开始创作」-「AI 短片创作」:

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AIGC_03

这里需要填入剧本。不会写剧本怎么办?可以借助 Kimi 等 AI 工具,生成剧本。

下面用 Kimi 简单做个示范:

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI视频_04

将生成好的剧本直接复制粘贴到下面方框中,随意取一个名字,比如就叫「深海巨怪」,然后点「生成故事板」。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI工具_05

寻光会根据剧本,生成故事板,即:分镜描述 + 分镜画面

接下来依次确认生成的每个分镜画面。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_音视频_06

如果对生成的结果不满意,可以点「取消」,取消后可以上传自己的本地素材

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI视频_07

二、视频生成

接下来就是将生成的一个个静态分镜画面,生成视频。

视频生成有两种方式:图生视频运镜控制

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_人工智能_08

选择这两种任何一种方式生成视频,都可以。目前视频最大时长是 4 秒。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI工具_09

生成的视频,也需要确认:

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_人工智能_10

三、视频编辑

静态分镜画面转化成视频后,可以对视频进行编辑。

寻光支持多种视频编辑模式,比如:

角色换脸、目标新增、目标消除、目标编辑、风格变换、超分辨率、帧率控制、图层拆解、图层融合

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI视频_11

角色换脸

需要先在角色库中,新建角色,然后从角色库里选择角色换脸即可。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_人工智能_12

目标新增

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AIGC_13

框选出区域,在提示词中写上希望新增的物体,比如「水母」。

在新的视频中,就出现了一只游动的水母,如下图:

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AIGC_14

目标删除

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AIGC_15

选择要删除的目标,选择模型,目标就删除了。

下面是两种不同模型的区别:

运动目标消除模型:模型会基于帧间信息补充目标消除后的背景,适用于目标背景变化大的视频,处理速度快。

稳定目标消除模型:模型会自动“脑补”目标消除后的背景,适用于目标背景稳定的视频,处理速度相对较慢。

目标编辑

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_音视频_16

框选出想编辑的目标,在提示词中输入期望目标描述。

比如想将之前生成的水母,变成粉色,输入「粉色水母」,视频中的水母,就变成了粉色。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_人工智能_17

风格变换

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_人工智能_18

目前内测期间,只支持三种风格的变换:梵高画、莫奈画、水彩画。

后续应该会上更多风格。下图是转换成了「梵高画」风格的视频:

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI工具_19

超分辨率

目前最高支持到 2k。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI工具_20

帧率控制

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_音视频_21

图层拆解 / 图层融合

图层拆解和图层融合,这俩一起说吧。

其实就是将视频中的某个目标拆解出来,生成背景透明的视频,方便将其融合到其他的视频画面中。

这个功能,在目前的视频创作中,需求还是挺大的。

试了下寻光的这个功能,融合得还是蛮好的,超出预期。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_人工智能_22

选择目标,下图是将水母单独拆解出来了。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AIGC_23

选择另一个视频,点「图层融合」,从素材库中选择之前拆解出来的图层,这样水母就添加到新的视频中了。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_人工智能_24

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AIGC_25

四、多场景

寻光可以创建多个场景,每个场景下,都可以创建多个分镜。

场景间和分镜间,是可以通过拖动,来调整顺序的。

五、导出下载

在确认各个场景下的分镜视频没有问题后,就可以导出作品了。

导出后的作品,在我的作品里查看,也可以下载。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_音视频_26

ps:目前生成的视频,是没有背景音乐、配音、字幕的,这些是需要自己用剪映等工具后期添加的。

后续是否会增加呢,期待一下。

六、问题

整体使用下来,体验还是不错的。不过用的过程中,也发现一些问题。

1、视频生成的效果有待提高

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AIGC_27

比如上图,想达到摆动胡须的效果,不管是用「图生视频」还是「运镜控制」,都没有达不到效果。

再比如有人像的分镜画面,在使用「运镜控制」生成视频时,人脸会有扭曲变形的情况。

2、分镜描述遮挡

在让用户确认分镜图生成结果时,「分镜描述」是显示不全的。所以用户可能并不能很好地判断,生成的画面,是否符合预期。

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AIGC_28

七、结束语

寻光全新的 AI 视频工作流,大大提高了视频创作的效率,可以说是视频创作者的福音!

当然寻光还在内测,期待后续寻光可以有更好的表现。

寻光官网(内测申请):

https://xunguang.damo-vision.com/

AI&副业资料获取

微信搜【X小鹿AI副业】或微信扫下方二维码,关注后资料【资料】,获取最新资料(不定期更新)

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)_AI视频_29


我是程序员X小鹿,前互联网大厂程序员,自由职业2年+,也是一名 AIGC 爱好者,欢迎一起交流~

举报

相关推荐

0 条评论