News Center

新闻中心

如果以哈利波特视角打开Sora"剧本" | 达开脑洞
发布日期:2024-02-24

微信图片_20240226084428.png

新年开工第一周,迎来OpenAI再次发布大杀器级别产品Sora的“轰炸”。技术流分析在你的订阅列表里不断更新,我们希望从一个更好玩的视角打开Sora的“剧本”,或许能激发我们更多的思考。


本文来自超级充电站,作者Stella 蔡康淇




|| 魔法思维盆:脑海里有,Sora就有


在魔法世界里,记忆高深的魔法师,比如邓布利多,可以用魔杖从太阳穴拉出一根绵长的银丝,再置于石盆中,化成可以跳进去沉浸式体验的「记忆」。第一次看这个情节,就觉得如果大脑里想到的东西,可以这样方便地有选择性地还原出来,呈现给其他人,一定是一件非常有趣的事。当 OpenAI 拿出 Sora 模型,好像这件事已经要实现了。


c8efdb5881ec0946d669bcfcc978c56b.jpg


Sora 是发布 ChatGPT 的公司 OpenAI 最新发布的一个「文字生成视频」的模型,与以往其他的 AI 视频模型不同,Sora 可以根据用户提供的文字描述生成最长达 1 分钟的高清视频,也就是你想到了什么,告诉它,它就帮你「实现」。Sora 生成的可以是常规的单个画面视频,也可以是有切分的多视角/多画面视频,并且画面非常流畅稳定,人物/主体对象没有畸变,还包含复杂的镜头调度。


c1b6a7cc04beb59f52cf97e36fa6659d.png

OpenAI 官网上发布的 Sora 生成视频,提示词是:「在印度孟买的一场冬季风暴期间,一只可爱的袋鼠穿着蓝色牛仔裤和白色 T 恤在悠闲地漫步。」


除了基本的「文生视频」功能,Sora 还能够生成高清图像(2048 x 2048)、使静止的图片动起来(图片转视频)、向前或向后延长视频(AI 补全)、对已有的视频做出调整/改变,以及将两个视频巧妙地连接起来(在视频之间形成顺滑合理的过渡)等。


fbce0f7104df3c225a77dfda3bec744e.png

上传一张图片,然后加上文字描述,Sora 就可以根据你的描述将图片转化成视频。


93e5623b3cba4eeba0e81f53aee2e32f.jpg

原始视频中车是在森林里开,将它上传到 Sora,Sora 就可以让它「开」到海底、恐龙世界等超乎现实的地方,还可以改成游戏画风,或者直接让场景回到中世纪马车时代。在这个过程中,主体「车」始终保持在画面中央,前进速度和镜头运行方式也保持一致。

b3deb28a061af7795f440317a214a99e.png

将无人机飞越古城的视频(最左)和蝴蝶在海底的视频(最右)都上传给 Sora,Sora 就可以将两个视频很好地衔接起来:先把无人机替换成蝴蝶,然后逐渐把古城变成海底生物的质感(看中间的这张图),最后完全变成蝴蝶在海底的视频。

使用方面,目前 OpenAI 没有公布向公众开放 Sora 的计划,应该是要进行进一步的评估和优化。同时,OpenAI 也筛选了部分视觉艺术家、设计师和电影工作者来收集使用反馈,目前 Twitter 上已经有非常多受邀人士发布了自己的作品。


99ccae944822c18adca90967f97c78ae.png


Sora 团队成员 Bill Peebles 发布的作品,给 Sora 的提示词是:「一座巨大的大教堂里全是猫。放眼望去,到处都是猫。一个男人走进大教堂,向坐在王座上的巨型猫王鞠躬。」在这 20 秒的视频里,这个男人说了一段话,猫王给出了情绪反应,而且最后还走到了这个男人身边,就像一个完整的电影片段。


尽管 Sora 最大的特点是「模仿现实」,能够生成非常「真实」的视频画面,但目前 Sora 模型也存在明显的弱点,比如它可能难以准确模拟复杂场景的物理原理,并且可能无法理解因果关系,比如,一个人咬了一口饼干,但之后视频里的饼干却没有咬痕。它还可能混淆空间细节,例如混淆左右,并且可能难以精确描述随着时间推移发生的事件,例如遵循特定的相机轨迹。


8f7a8b66007db2ce4b0cfd3608e2f896.png

Sora 生成的视频不能准确地模拟玻璃杯掉下来摔碎的动作,杯子摔下来之后似乎跟底下的液体融为了一体。

不过,Sora 目前出现的错误其实大部分人并不能马上看出来,已经达到了所谓「混淆视听」的能力。例如在官方放出的 demo 当中,有一个猴子下棋的视频(见下图),看起来栩栩如生,但是它的棋盘和棋子其实是不完全符合现实中的棋盘和棋子的模样/规则的。这不得不让人有些担心,就像 ChatGPT 回答问题的时候经常「胡编乱造」一样,如果 Sora 开放给公众使用,出现一系列真实程度不明的视频,可能也很容易误导受众,这时候就体现出「Facebook 标记 AI 生成内容」的重要性。


ec5a1dd5153608eb1438d7dd2ed25861.png

Sora 生成的猴子下棋视频,当中的棋子数目显然是不对的,棋盘也有点奇怪,当然也不排除这是属于猴子的「棋」……

|| 汤姆·里德尔魔法日记:ChatGPT开始有记忆


魔法世界里不仅有能自己写字的笔,还有能跟记忆对话的「魔法日记」,它属于小时候的伏地魔——汤姆 · 里德尔。当罗恩的妹妹金妮开始在日记上写自己的心情的时候,汤姆就在纸面上「复活」了。


162f367a53da88ef1e5f8779bd074c52.jpg


如果这个写日记的人是你自己,而你可以跟自己的记忆对话,这种感觉是不是也很妙?


OpenAI 称本周将对部分用户开放 ChatGPT 的「记忆」功能,但没有透露更大规模应用的时间表。使用此功能的用户可以自主选择是否让聊天机器人「记得」他们在对话当中透露的信息,比如家里有几个人、喜欢旅行、写 Summary 需要特定格式等……或者也可以直接告诉 ChatGPT 希望它「记得」某些信息,或者「忘记」某些信息。这样用户就不需要每开一次新的对话窗口就重复一遍信息了,能够节省很多时间,同时也对自己的信息有直接的控制权。


337d961e2984ad34aa00e3bf9caa8069.png


OpenAI 举了一些例子来说明「记忆」功能的实用性,比如,如果你告诉 ChatGPT 你拥有一家咖啡店,那么下次当你向 ChatGPT 询问有没有什么好的社媒点子来庆祝一个新店开张的时候,它就会知道也许是你提过的这家咖啡店开张了。又比如,如果你说过家里有一个婴儿非常喜欢水母,那么下次当你问它能不能帮忙生成一张给宝宝的生日贺卡时,它就会记得在贺卡上放一些水母元素。


6f1d65cf2aa3ae0bdccfd5ecda3cae59.jpg


其实当前 ChatGPT 在去年 7 月份已经发布过一个叫「Customize ChatGPT」的功能,允许 Plus 版本的用户「自定义」他们的 ChatGPT,让聊天机器人记得一些基本信息,比如对用户的称呼、用户在什么地点、用户的工作内容和爱好、希望 ChatGPT 答复的语气和长度等,不过这都是用户主动输入并且可以随时修改的信息。比如当我输入了「请叫我 Stella」以及「我有一只柯基叫椰子」这些信息之后,ChatGPT 就会在对话中使用这些信息,当我提到「我的狗」,它就「知道」是「椰子」(见下图)。OpenAI 表示这个功能在「记忆」功能开放之后也将继续发挥作用。


8cbb36bd5a6278c319effacab92ad81e.png



4930430d96beb5a2efecda6c6bc49751.png



此外,GPT 商店中的个性化 GPT 也将享有「记忆」功能,这也将带来许多便利,比如,如果你在用一个推荐书籍或者电影的 GPT,那么 GPT 就会记得你的喜好,以及你跟它说过你曾经看过什么书或者影片,让推荐更精准。


不过,坏处当然是很多用户会担心的隐私问题,对此,OpenAI 表示,这个功能用户是可以自主决定开关的,并且他们也可以直接要求机器人「抹去」某次对话的内容。功能开启之后,用户也可以使用「临时对话」模式,这个功能不会调用「记忆」,也不会创建「记忆」。


|| 麻瓜错误:不要尝试让GPT用左手写字!


AI犯错的「麻瓜时刻」——生成图像时的错误。


9f5467ffe85aa517f552849921a04654.jpg


不知道你有没有发现,ChatGPT 有一些总是无法办到的事情,比如接下来要说的这三件:它无法生成「左手写字」的图像,无法生成「任意时间」的钟表,也无法生成「两只眼睛在同一边」的人。


c1e03aeb9d437a479361a57e2df69c84.jpg


当尝试让它生成左手写字/吃饭/打篮球的图像时,它总是假装它生成的是左手,但其实图像里永远还是在用右手。


81921444a81d22e59920992c051bf8d0.png


更有趣的是,当让 GPT 生成一张小朋友正在辨认自己的左右手的图片,并且要求它在图上标注左右时,它生成的图像中左和右指向的是同一个方向。


8ff047836a31d6c412b3c889683f53f1.png


第二件事,当让它生成圆盘时钟时,无论输入什么时间,它生成的永远是十点十分。据说这是因为大部分的时钟广告当中展示的「时间」都是十点十分,因为这样时针和分针会形成一个有趣的「V」字形状,视觉上更平衡和愉悦;另外,钟表的 logo 一般都会在「12」下面,十点十分的时候 logo 正好在正中间,能得到最好的展示。也许是 GPT 过多地「学习」了这些钟表的图片,所以默认钟表时间都是十点十分?


a561decb52152797ad76c9b87f4ec77c.png


最后,ChatGPT 无法生成眼睛长在同一边的人,也无法生成嘴巴长在额头上的人,以此类推。这似乎比较好理解,毕竟现实中也没有这样的人,影视作品中也很少,AI 没有数据可以借鉴,也无法理解。


91af6eb22d0b2ab7aed4de62e93b6507.png



当我们用哈利波特视角打开Sora"剧本",这个魔法世界,是否已经来到了身边?还有一个问题,我们需要分院帽吗?


1111.jpg



达晨成立于2000年4月19日,总部位于深圳,是我国第一批按市场化运作设立的本土创投机构。自成立以来,达晨伴随着中国经济的快速增长和多层次资本市场的不断完善,在社会各界的关心和支持下,聚焦于信息技术、智能制造和节能环保、医疗健康、大消费和企业服务、文化传媒、军工等领域 … [ +更多 ]
微信公众号

达晨财智创业投资管理有限公司 版权所有

Copyright © Fortune Venture Capital Co.Ltd. All rights reserved

电话:0755-83515108

邮箱:fortune@fortunevc.com

粤ICP备14030831号 技术支持:中网互联

粤公网安备 44030402003598号