- 开源资讯
- 每一个新动态都是尊龙凯时人生就是博向前迈进的新脚步
尊龙凯时人生就是博|我的继母是外星人|30s 生成视频免费不限次数中国版 Ope
但与语言生成模型的「掉队」有所不同ღღ✿,近期趋势却显示国内在视频生成模型这一领域的进步大为超越了国际水平尊龙凯时人生就是博ღღ✿。不少国外网友表示ღღ✿,「中国的可灵 AI 视频」在引爆互联网ღღ✿,而 OpenAI 的 Sora 却在沉睡ღღ✿。
当然ღღ✿,国内外的 AI 视频模型有一个算一个ღღ✿,瑕疵都真不少ღღ✿,但比起「期货」Sora 来说ღღ✿,这些 AI 视频产品看得见也摸得着ღღ✿,顶多可能需要多尝试几次才能「抽」到保底的视频ღღ✿。
正如 GPT-3 在诞生之初也曾遭受过质疑和批评ღღ✿,最终用时间证明了自己继往开来的价值ღღ✿,同理再给这些 AI 视频生成工具一些时间ღღ✿,从玩具变成工具也许就在朝夕之间ღღ✿。
相较于今天发布的智谱清影ღღ✿,可能很多人更为了解智谱清言ღღ✿,但不看广告看疗效ღღ✿,不妨先来看看由「清影」一手打造的演示 demoღღ✿。
霓虹灯闪烁的城市夜景中ღღ✿,一只充满机械美感的小猴手持高科技工具ღღ✿,修理着同样闪烁ღღ✿、超未来的电子设备ღღ✿。
另外ღღ✿,得益于智谱大模型团队自研高效打造的视频生成大模型 CogVideoღღ✿,清影现已支持多种生成方式ღღ✿,包括文本生成视频ღღ✿、图片生成视频ღღ✿,甚至也可应用于广告制作ღღ✿、电影剪辑ღღ✿、短视频制作等领域ღღ✿。
据介绍ღღ✿,智谱 AI 自研了一个端到端视频理解模型ღღ✿,用于为海量的视频数据生成详细的ღღ✿、贴合内容的描述ღღ✿,从而增强模型的文本理解和指令遵循能力ღღ✿,生成符合用户需求的视频ღღ✿。
在内容连贯性上ღღ✿,智谱 AI 自研高效三维变分自编码器结构(3D VAE)ღღ✿,将原视频空间压缩至 2% 大小ღღ✿,配合 3D RoPE 位置编码模块ღღ✿,更有利于在时间维度上捕捉帧间关系ღღ✿,建立起视频中的长程依赖ღღ✿。
比如从土豆变成薯条一般需要几步?不需要「动火」ღღ✿,只需一句简单的提示词ღღ✿,土豆就变成了金黄诱人的薯条ღღ✿。官方表示ღღ✿,无论你的想法有多么天马行空ღღ✿,它都能一一地将其变成现实ღღ✿。
此外ღღ✿,参考了 Sora 算法设计的 CogVideoX 也是 DiT 架构我的继母是外星人ღღ✿,能将文本ღღ✿、时间我的继母是外星人ღღ✿、空间三个维度融合起来ღღ✿,通过技术优化后ღღ✿,CogVideoX 相比前代(CogVideo)推理速度提升了 6 倍ღღ✿。理论上ღღ✿,模型侧生成 6 秒视频仅需 30 秒时间ღღ✿。
在今天发布会现场ღღ✿,智谱 AI CEO 张鹏让清影生成一个猎豹在地上睡觉ღღ✿,身体在微微地起伏的视频ღღ✿,大约 30 秒时间大功告成ღღ✿,不过ღღ✿,让一朵静态的玫瑰「绽开」ღღ✿,则需要更多的时间ღღ✿。
本以为宇航员弹吉他的静态图已经足够天马行空ღღ✿,而当它动起来ღღ✿,再配上悠然的旋律ღღ✿,仿佛航天员在太空中举办了一场演唱会ღღ✿。
与「期货」Sora 有所不同ღღ✿,「清影」不搞饥饿营销ღღ✿,一上线就全面开放ღღ✿,任何人都可以体验尝试ღღ✿,不用预约也不用排队ღღ✿,并且还将在后续版本中ღღ✿,陆续推出更高分辨率ღღ✿、更长时长的生成视频功能ღღ✿。
张鹏也在智谱 Open Day 上表示尊龙凯时人生就是博ღღ✿,「所有用户ღღ✿,都能通过清影(Ying)体验 AI 文生视频我的继母是外星人ღღ✿、图生视频能力ღღ✿。」
现在ღღ✿,清影处于首发测试期间ღღ✿,所有用户都可以免费使用ღღ✿。若追求更流畅的体验ღღ✿,花上 5 块钱就能解锁一天(24 小时)的高速通道权益ღღ✿,要是愿意付费 199 元ღღ✿,就能解锁一年的付费高速通道权益ღღ✿。
另外ღღ✿,清影(Ying)API 也同步上线大模型开放平台企业和开发者通过调用 API 的方式ღღ✿,体验和使用文生视频以及图生视频的模型能力ღღ✿。
比如说ღღ✿,让躺在床上的皇上用右手吃个鸡腿ღღ✿,结果凭空多出了一只手ღღ✿,视频最后一秒ღღ✿,我感觉皇上快要露出他的女性妆发了ღღ✿。
在复杂场景中ღღ✿,人物动作过渡不自然ღღ✿、无法准确模拟复杂场景的物理特性ღღ✿、生成内容的准确性不足等等ღღ✿,这些缺点并非是清影的「专利」ღღ✿,而是视频生成模型目前的局限尊龙凯时人生就是博ღღ✿。
在实际应用中ღღ✿,尽管用户能通过优化提示词来提升视频质量ღღ✿,但「翻车」也是常有的事ღღ✿,好在质量尚可的提示词能够在很大程度上保证了视频生成模型的下限ღღ✿。
摄影机平移(镜头移动)ღღ✿,一个小男孩坐在公园的长椅上(主体描述)ღღ✿,手里拿着一杯热气腾腾的咖啡(主体动作)ღღ✿。他穿着一件蓝色的衬衫ღღ✿,看起来很愉快(主体细节描述)ღღ✿,背景是绿树成荫的公园ღღ✿,阳光透过树叶洒在男孩身上(所处环境描述)ღღ✿。
如果你还是没有头绪ღღ✿,那么我推荐你使用智谱清言提供的帮写视频提示词的智能体ღღ✿,哪怕是输入生活中常见的普通场景ღღ✿,都能获得三个优质提示词ღღ✿。
比如ღღ✿,随手的一句「柯基在沙滩上晒太阳」ღღ✿,然后就能得到如下自然风光摄影风格中英文提示词ღღ✿,并且还有水彩画风格ღღ✿、3D 动画风格等多种风格提示词供你挑选ღღ✿:
中文ღღ✿:在阳光明媚的沙滩上ღღ✿,一只柯基犬懒洋洋地躺在沙滩巾上ღღ✿,享受着温暖的阳光ღღ✿。镜头从低角度拍摄ღღ✿,背景是广阔的蓝色海洋和洁白的沙滩ღღ✿,海浪轻轻拍打着岸边ღღ✿,气氛宁静ღღ✿,画质 4K 超清ღღ✿。
图片生成视频同理ღღ✿,输入图像主体ღღ✿,选择图像风格我的继母是外星人ღღ✿,就能让智谱清言帮你写出对应的提示词ღღ✿。从无提示词ღღ✿、到「戴眼镜」ღღ✿,再到「唐僧伸出手ღღ✿,戴上眼镜」的进化ღღ✿,效果嘛ღღ✿,也是天壤之别ღღ✿。
从最初的选题材料收集阶段ღღ✿,到脚本撰写环节ღღ✿,图片与视频创作过程ღღ✿,再到推广文案ღღ✿,几乎能打通视频生成创意的全链条尊龙凯时人生就是博ღღ✿,就差没明说ღღ✿,你只顾想创意ღღ✿,剩下的交给它ღღ✿。
AI 创作者陈坤曾告诉 APPSO尊龙凯时人生就是博ღღ✿,现在可用于商业化交付的 AI 视频ღღ✿,几乎全都是图生视频ღღ✿,因为文生视频还做不到ღღ✿,其实就是可控性的问题ღღ✿。
今天智谱 AI 发布的清影则进一步提升了文字生成视频的可控性ღღ✿,智谱 AI 接受 APPSO 采访时表示ღღ✿,文字生成视频体现了更通用的可控性ღღ✿。
AI 生成的视频大部分还是由人用语言的方式去控制的ღღ✿。所以如何让文字或者简单的语言指令的识别ღღ✿,是更高层面的控制性ღღ✿。
Sora 通过合理的细节设计解决了帧间细节跳变的问题ღღ✿。同时直接生成了高分辨率(1080p)的视频图像ღღ✿,可以生成语义丰富的长达 60 秒的视频ღღ✿,说明背后训练的序列也比较长ღღ✿。
就在智谱清影发布前几天ღღ✿,快手的可灵 AI 在全球开放内测ღღ✿, 而另外一个被认为 Sora 的 PixVerse 发布了 V2 版本我的继母是外星人ღღ✿,支持一键生成 1-5 段连续的视频内容ღღ✿。
不久前ღღ✿,Runway Gen 3 Alpha 也开启付费用户公测ღღ✿,细节的精致度和丝滑程度上有不错的提升ღღ✿。上个月刚刚发布的 电影级视频生成模型 Dream Machineღღ✿,也在最近更新了首尾帧功能ღღ✿。
短短几个月内ღღ✿,AI 视频生成在物理模拟ღღ✿、运动流畅度ღღ✿、对提示词理解方面都有大幅的提升ღღ✿。 AI 玄幻剧导演陈坤对此的感受更为敏感ღღ✿,他认为 AI 视频生成技术的进步或许比想象得更快ღღ✿。
2023 年的 AI 视频ღღ✿,更像动态 PPTღღ✿,人物在表演慢动作尊龙凯时人生就是博ღღ✿,靠蒙太奇剪辑拉分ღღ✿。但现在ღღ✿,AI 视频的「PPT 味」已经淡了不少ღღ✿。
陈坤导演的国内首部 AIGC 奇观剧《山海奇镜之劈波斩浪》最近刚刚上线ღღ✿,他用 AI 取代不少传统影视实拍的环节ღღ✿,他告诉 APPSO 以前要做类似的玄幻题材ღღ✿,至少需要 100 个人ღღ✿,而他的团队只有 10 多个人ღღ✿,大大缩短制作周期和成本ღღ✿。
这半年ღღ✿,可以看到更多专业的影视创作者开始尝试 AI 视频ღღ✿。国内快手抖音都上线 位 AIGC 创作者合作完成的首部 AI 长篇电影《Our T2 Remake》在洛杉矶举行首映ღღ✿。
虽然 AI 视频生成在在人物和场景一致性ღღ✿、人物表演ღღ✿、动作交互等方面还有局限ღღ✿,但不否认 AI 视频正在从去年尝鲜的玩具ღღ✿,慢慢转变成创作者的工具ღღ✿。
这或许也是包括智谱清影尊龙凯时人生就是博ღღ✿、快手可灵ღღ✿、 Luma Dream Machine 等产品都开始推出会员体系的重要原因ღღ✿,要知道国内大模型面向 C 端的产品大都以免费为主ღღ✿,这和国内订阅付费习惯和优先追求用户增长策略有关ღღ✿,AI 视频的付费除了好奇的用户ღღ✿,必须有更多内容创作者支持才能持续ღღ✿。
当然ღღ✿,AI 视频生成还处于比较早期的阶段ღღ✿,所谓「一句话生成电影」只是标题党式的误导ღღ✿,视频模型需要具有更好的指令遵循能力和可控性ღღ✿,才能更好地理解物理世界ღღ✿。
从生成视频的效果看ღღ✿,对物理世界规律的理解ღღ✿、高分辨率ღღ✿、镜头动作连贯性以及时长等ღღ✿,都有非常大的提升空间ღღ✿。
从模型本身角度看ღღ✿,需要更具突破式创新的新模型架构ღღ✿,它应该更高效压缩视频信息ღღ✿,更充分融合文本和视频内容ღღ✿,贴合用户指令的同时ღღ✿,让生成内容真实感更高ღღ✿。
「我们积极在模型层面探索更高效的 scaling 方式ღღ✿。」但张鹏也对多模态模型的发展充满信心ღღ✿,「随着算法ღღ✿、数据不断迭代ღღ✿,相信 Scaling Law 将继续发挥强大威力ღღ✿。」
AI 创作者陈坤认为ღღ✿,AI 生成的镜头要 100% 扛得住大银幕ღღ✿,只是时间问题ღღ✿。这个时间是多久并不是最值得关心的ღღ✿,参与这个过程反而更加重要ღღ✿,就像智谱 AI CEO 张鹏此前接受 APPSO 采访提到的ღღ✿:
很多事情要前赴后继地去探索ღღ✿,这个过程就很重要ღღ✿,不要只看到最终的结果尊龙凯时人生就是博ღღ✿,更重要的是我们采取行动ღღ✿,我觉得这才是目前大家更应该关注的事情ღღ✿。尊龙凯时人生就是博(中国)官网ღღ✿,尊龙凯时人生就是博官网ღღ✿。尊龙凯时 - 人生就是搏!ღღ✿,自动驾驶ღღ✿,尊龙凯时ღღ✿!自动化前景ღღ✿,尊龙凯时人生就是博·(中国)官网ღღ✿!

返回