• 通过 ChatGPT 制作一个短视频


    图+文,生成视频

    当通过 ChatGPT 生成连贯的 prompt 时,除了连环画,我们理所当然还可能畅想更激进的场景——生成动画视频。目前 AIGC 社区确实在生成视频方面有一定的尝试。比如 Deforum 可以通过多条 prompt,配合具体的切换时间点,镜头切换角度设置,生成一些简单的动画视频:https://replicate.com/deforum-art/deforum-stable-diffusion。但由于目前文生图 AI 的细节控制还不够稳定,直接从 prompt 生成视频的效果,距离人们的期望还很远。

    不过,利用 ChatGPT 的文本生成能力,我们有另一种 AI 视频剪辑技术,可以快速实现另一个维度的视频生成:利用互联网上已有的图片和视频素材,通过标签关键字的查询能力,将 ChatGPT 生成的解说词,和不同视频素材一一对应,并完成不同视频素材之间的拼接、字幕的插入,得到一段 AI 解说视频。国内比较主流的视频搜索拼接产品有:脸萌剪映的图文成片、腾讯智影的文章转视频、百度百家号的文字成片等。

    我们以剪映 App 的图文成片为例,试试通过 ChatGPT 制作一个短视频。

    首先,我们通过 prompt,交给 ChatGPT 生成一段视频解说词。为了方便对照,我们沿用之前三国程序员的笑话,让 ChatGPT 自行改写:

    扩写成一段可以做视频的文案,加一些环境描写,内容更具体。

    复制 ChatGPT 生成的文本,然后安装并打开手机上的剪映 App,在顶部点击"图文成片",进入内容编辑器。把 ChatGPT 生成的文案内容,粘贴到正文区域。文本输入框限定了最多 3000 字,不过一般来说 ChatGPT 单次生成的字数到不了这么多,所以不用担心。然后底部选择由 AI 智能匹配素材,点击"生成视频":

    稍微等待一段时间,剪映完成视频的初稿生成,包括画面素材的匹配和拼接、文字字幕和配音等,下一步进入视频剪辑器:

    剪辑器中,我们可以快速根据标签选择 AI 配音的音色,还可以做更具体的抽帧,素材替换等高级修改。不过就本次场景而言,剪映 AI 匹配的素材算是比较满意了,如上图所示,介绍到 404 页面时,还根据"程序员"主题词,匹配到了 GitHub 的 404 页面。

    相信随着图片和视频检索算法能力的提升,多模态 AI 由文本生成视频的能力也会持续进步,Chat To Video 就在不远的将来。

  • 相关阅读:
    动态切换 Spring Boot 打包配置:使用 Maven Profiles 管理 JAR 和 WAR
    这是一棵适合搜索二叉树
    枚举和注解01:自定义类实现枚举
    Devops学习Day3--jacoco的详细使用
    [美国访问学者]J1签证和商务B1签证的区别
    “结构体名”和“结构体名是个指针”的区别
    一统江湖:毫米波雷达开发手册之大话线谱估计
    树莓派4B使用Docker部署SpringBoot项目——(二)使用docker安装mysql
    go开发脚手架 动态/静态路由 (根据gin框架)
    SQL必需掌握的100个重要知识点:使用存储过程
  • 原文地址:https://blog.csdn.net/shiyunzhe2021/article/details/130882936