我昨天看到了小互、宝玉等朋友对 Seedream 5.5 的评测, 里面都提到了多轮编辑稳定性超牛逼。
就是在今天, 本人在 X 上面浏览到了某个进行对比测试的视频内容, 由此才意识到这款产品确实是强大的存在。
现在大家是在对比GPT Image 2.5和2.6这两款模型。在实验过程中, 每次进行图像生成的时候, 都要基于上一张生成的图片来进行操作。主要目的是去预测下一秒会出现什么样的画面。然后这个过程要不停地迭代100轮次。
没想到刚刚进行了10轮, Image 2.5 和 2.6 生成的图, 已经开始出现老化和痕迹明显的现象了。
Seedream 5.5, 在这个功能中, 只有手表的走秒部分是在动的, 至于其他的那些画面区域, 完全是一点动也没有, 没有任何变化, 具体这个情况可以去看看下面提供的视频, 那样看起来会更直观一些。
小互这边的测试情况看起来是挺直接的, 在使用GPT Image这个工具给模特进行换装操作的过程中, 可以明显地看到, 当循环次数达到了10轮之后, 模特的面部形象就开始出现了不稳定的崩坏状况。
在进行了好几轮的编辑工作之后, Seedream 5.5 这个模型里面的人物主体的形象方面, 几乎可以说是一点变化都没有发生。
另外呢, 还有一个关于豆姐的Seedream 5.5 的官方宣传视频存在。
这次进行的模型升级, 竟然会有这么强的表现吗? 我本人打算加入到尝试体验的行列之中去, 真的是忍不住要发出开心的笑声了哈。
多轮编辑一致性
小互建议大家采用即梦的画布模式来体验, 这种体验是非常令人愉悦和爽的, 而我个人的态度则是主打一个完全听从建议听从劝告。
体验的进入路径如下: 首先打开即梦官方网站, 然后找到创作部分, 最后选择画布。
输入提示词
那是一个留着黑色长发的年轻女孩, 她长得漂亮, 住在京城的地方, 也混着当地的摇滚圈子, 此刻正站在电梯里的镜子前面拿着手机拍照。
她身上穿着那件黑色的、印有骷髅图案的衣服, 肩膀露出来一点, 长度很短, 露出了她的肚皮以及很细的腰身, 下半身搭配的是带破洞设计的低腰牛仔裤, 脚上踩着一双马丁靴, 脸上的神情显得超级酷。
她的右手高高举起手机, 把半边脸给挡住了, 皮肤看起来白皙且自然, 用手机随手拍了一张竖着的照片, 用的是人像模式, 整体感觉非常真实。
这些姑娘的长相都挺不错, 可是最后的那两张照片里面的空间太小了, 所以建议把第一张放进去设置提示词, 比方说可以是“形状不变, 换上一身不同的衣服”以及“人物本身不动动, 更换一套有明显区别的衣服”。
下面是合成的gif动画, 虽然在个别衣服画面的时候会出现抖动感, 但是对于人脸部分以及背景环境而言是非常静止的, 所以经过多次进行编辑之后的一致性表现真的是特别棒。
最近这段时间, 老黄这个人处在了舆论关注的最前面, 大家一说到他就立马会联想到他穿皮衣的那个样子, 所以我们就决定帮他更换几套其他的衣服造型。
我们来瞧一下身着不同款式服装的老黄, 他这样打扮起来, 或许会比常年都穿着皮衣的时候更加帅气。
在前面的时候, 大家曾经觉得图片生成模型, 它是一直在不断地争夺真实感、美感, 还有4K 高清输出这些东西的。
关于可控编辑以及多轮编辑的时候, 要保持内容之间的一致性, 这个问题一直都没有被解决, 这也是目前存在的一个非常大的、让人头疼的痛点所在。
Seedream 5.5 这一次更新, 一下子攻克了问题。它的进步非常大, 多轮编辑一致性的水平达到了 SOTA。
SOTA 是 State of the Art 的缩写, 把这个词组直译过来, 就是“艺术的巅峰”或者“最高水平”, 在人工智能、机器学习、计算机视觉, 还有各种各样的科研技术工作里面, 它的意思就是指当前的最佳方案, 也指目前最先进的技术。
这种能力, 在电商领域很实用, 对于短剧行业也很适用, 在影视制作方面能派上大用场, 在处理商业广告的项目时, 同样具有相当的实际效用。
保持局部不变, 像手术刀一样精准地修改。放在两年前真的不敢去想。AI的发展速度果然是指数级的。
真实性提升
除了要让那连续编辑的内容一致性比较强之外, 那个真实性也是非常关键的, 特别是因为生成图像是制作视频的基础部分。
当前, 广大观众对于红果短剧是非常青睐的, 这一点是显而易见的。在这些短剧中, 像《持械入宋》以及《归墟》这样的AI短剧是存在着的, 它们致力于追求真实感这一目标。相比之下, 其他的作品中, 漫剧依然是占据主要地位的现象也是不容置疑的。
难道是不愿意吗? 我个人觉得这主要还是个技术问题, 因为目前生成图片在真实性以及物理方面合理这个点上, 确实还显得略微有些不足。
即使是像《持械入宋》这样获得众人高度认可的作品, 其中某些人物角色也都仍然能够被感觉到有着一种明显的塑料感, 只是因为其剧情、台词以及场面都非常精彩, 所以这种不足才被观众们渐渐忽略掉了。
因此, 我们对于生图在进行真实性层面所作出的改善工作, 这项举措对于人工智能短剧这一类型的创作领域、对于整个影视行业整体、以及对于广告行业而言, 也都是存在着非常巨大的好处与益处的。
随便测试了几张图, 感觉是有明显提升。
就在最近的这段时间里, 北京这个地方和天津这个地方都已经下过雪了。下雪之后的那种美景, 其实是能够让人类的心情变得非常的愉快轻松的。所以现在大家试着去生成一张画面。这张画面要展示的就是老北京的胡同区域里面的雪景情况。
用手机进行随手拍摄, 画面具有非常高的真实度, 场景设定在北京境内的一个胡同里, 当时的状态是正在下雪。
大家能看见, 画面里有正在纷纷扬扬落下来的细碎的雪花, 旁边是北京常见的塑料垃圾桶, 还有老旧房外加装的那些管道, 另外, 还摆放着凳子。这些细节都显得是极为逼真的一种状态。
特别是那个扮演垃圾桶角色的人, 演得相当不错。
这是一个关于拍摄场景的描述, 指的是用手机进行随手抓拍, 拍摄地点位于北京五环的外围区域, 画面中的主体是环卫工人, 他们正在进行扫雪动作, 且要求呈现出极高水准的真实感质感。
你看远处那个模糊的公司招牌, 雪下过之后, 车辆在路面上压过, 扬起了积雪。如果不说话的话, 别人还以为这是北京电视台拍摄的新闻照片。
在前天回那个天津地方的时候啊, 天空里也飘下了雪花来, 于是就产生了一那种有关于海河附近地带下雪时候的风景画面内容出来。
用手机随手进行拍摄, 画面的真实感是非常强地体现在了这里, 地点位于天津海河边的场合, 此刻下雪了这一情况。
我们只说海河边上, Seedream 5.5 竟然给画面加上了天津的标志建筑之一: 天津之眼。
我是比较担心它可能会欺骗到我。所以我从维基百科这个网站里面找到了一张真实拍摄过之后的照片来看。我发现它的造型和真正的那款车之间几乎是完全一样的相同程度这让我感到十分的震惊。
小互猜, Seedream 5.5 的基础模型, 其升级情况绝对是实打实地得到了加强。
我觉得事情确实就是这样子, 假使说没有那种非常丰厚的关于整个世界的那些个基本知识的话, 那么就是单纯地把天津这个地点给提出来一下, 也是没有办法能够使得那个叫做天津之眼的事物被生成得是那样子的真实存在的状态。
在当下的技术环境里, 那些用来进行图像生成的模型系统, 普遍会对用户最初给出的、作为指引的原始提示词语料, 去执行一种被叫做PE加工的处理操作, 而这个PE就是指Prompt Engineering这种策略。
像是
这就非常地考验语言基模能力了, 如果是真的话，那也就意味着字节豆包大模型也都有了显著进步?
透明图编辑
最近, 被大家称为乔帮主的那个人, 开发出了一个用来进行屏幕录制的软件, 这个软件的名字叫 Capwise，他的想法是想让这个软件成为那个每年需要支付 108 美元订阅费用的 Screen Studio 软件的替代版本。
在代码开源之后, 收到了很多人的夸奖, 于是打算花心思把它做得更好。
比如说, 当下的计算机软件标识图案是使用由lucide这一品牌所提供的图标, 随后通过人工智能技术进行了相应的调整与创作处理。
我个人的感受是, 状况大概也就是还过得去罢了, 可是那些在评论区域发声的人却声称, 它和对方所拥有的软件标识符号长得是完全一模一样的, 因此大概率推测编码系统这个存在是因为偷懒而直接拿来使用了一模相同的图标, 这种情形真是让人感到十分可笑。
把原 Logo 图上传, 然后把提示词写进去, 就是说为我们这款录屏软件设计出 10 种不同风格的那个 icon。
上面有几个我觉得不错, 但是为了增加选择机会, 所以不给参考图片, 也生成10个:
咱们要给那个叫什么 Capwise 的录屏软件去搞设计, 得做出十个不一样的图标, 这十个图标的风格得各不相同, 而且要用扁平的那种风格来做, 最后出来的效果啊, 那肯定得是顶级的水平。
那个像素风格, 还有那个透明玻璃风格, 看起来都是挺好玩的。
这里存在一个小小的技巧, 你可以使用即梦 Seedream 5.5 来进行图像生成, 在其中有选择项是可以选取为透明背景的, 这样就能够实现直接输出具有透明背景的图像文件。
它并不是透明的图片, 但是照样可以把一个图形图层里的多个图标拆开来拿去用, 这样筛选图标的效率就得到了大幅度的提升。
任意一张图标集, 点图层分离功能之后, 每个icon会被分离出来, 成为透明图层。操作演示如下。
要是你感觉那个图标的大小还是不够大, 那么你可以直接使用那个叫做扩图的功能来进行提升操作。
这种用法的话, 它那个能够被挪到更加多的场景里头去用的, 然后, 一下子就能够出好几个设计的那个方案来做一个比较, 这个是比较直观的一个情况。
用户选定了某一个方案。然后。只需要把透明的图像文件给提取出来。这样的话呢。就可以继续去进行加工处理。或者把这些素材导入到Photoshop里面去。以便做深度的编辑操作。
参考图生成
真的是过于喜欢《持械入宋》这个由人工智能技术所创作的短剧作品了, 当剧情发展到第四季的第五十集之后, 那种令人着迷的感觉就慢慢地深入到了人们的内心之中。
里面的每一位人物的样子, 都让大家一看就能认清楚, 并且那些用来制作角色的计算机生成图像技术, 也是付出了十分认真和大量的精力。
比如说, 会存在一个名为李清棠的人物, 该人物的设定是基于历史上著名的女词人李清照的画像进行艺术化处理而创造出来的。
我觉得有点好奇, 就去搜索引擎里查了一下李清照的画像, 以下是搜索出来的结果。
参考这张图片, 然后输入相应的提示词指令, 这个指令的内容是让系统生成一张正面的、真实感强的人像照片。
你把它和那个剧照放在一起做比较以后, 你就会发现它们之间是确实存在着几分的相似程度的。
终极的挑战现在就摆出来了, 我们要去搜集一下那些在剧中出现过的角色们的不同分辨率的形象样子, 让系统去参考姿势图生成一个杀青合照。
姿势的参考方面已经是做到位了, 然而一旦发觉人物的形象数量变多了之后, 那面部呢多少还是会出现一些飘移的情况。
要是进行 AI 短剧的创制工作, 那务必尽可能地把场景里头的主角数目给控制住, 别去过多地倚仗参考图片来生成画面这档子事情。
文本渲染
听好友玉伯讲, 他们的产品叫Youmind, 有很多用户每周都要去制作大量的图片、PPT, 还有信息图表。
起初, 他认定这些用户的工作性质要求他们进行频繁的汇报工作, 但是他在对当事人进行深入沟通与交流之后才弄明白实情, 原来存在相当一部分人这样做并非出自工作上的强制需求, 纯粹是为了给自己营造出一种便于个人阅读以及学习吸收的环境条件而已。
果然, 一张图片的价值胜过千言万语啊！
最早把这种玩法的可能性给带来的是谷歌。
自从 Nano Banana 1.5 这个版本出现之后, 模型确实已经具备了生成文字的能力。不过, 它目前主要侧重于英文内容, 对中文的支持程度相对较差。在实际应用中, 中文经常会出现识别困难的情况, 导致生成出来的效果看起来像是胡乱涂抹的鬼画符一样。
等到那个 GPT Image 2.0 版本在处理中文内容时, 其质量表现开始显示出明显的改善与提升之后, 接下来发布的 2.5 版本就更不会出现任何质量问题了。
在那个时候, 我和像橘子、归藏这几个朋友一块儿聊天, 发出感慨, 说为什么生成出来的中文质量最好的那个事物, 竟然是海那边的模型。
直到这一回Seedream 5.5进行了更新, 中文字符的生成内容终于不再是存在问题的状态了, 就连那种字数很少的小字, 其生成的结果也都相当不错。
从质量层面看, 它把Nano Banana 2.1彻底按在地上摩擦, 碾压程度相当明显。同时呢, 它跟GPT Image 2.6那个最好的Sunburst模型比一比的话, 表现差不多, 双方算是半斤八两, 不分上下。
生成一张高信息密度的中文信息图, 介绍李清照。
左边的这幅图是Seedream 5.5, 右边的这幅图是GPT Image 2.6 Sunburst。
如果从信息密度这个方面来看, Seedream 5.5的数值更高一些，同时它的版式所带有的那种人工智能生成的特征相对更少。
在GPT Image 2.6这个 Sunburst图表里, 中文文字的字号因为沾了光的关系, 整体显得偏大。不过, 里面“凄凄惨惨戚戚”这部分的“戚戚”这两个字, 看起来还是不是很清楚, 辨识度不够高。
现在的情况是把 Seedream 5.5 进行放大处理, 具体的放大倍数是三倍, 然后对这个结果进行查看, 在此之下会出现一些情况, 其中一点是“戚戚”这两个字并不是非常清晰, 另外还有一处也不清楚, 这里说的是“只恐双溪舴艋舟, 载不动许多愁”这句诗里面的“舴艋”两个汉字, 它们的表现也是不够清晰的。
虽然达成这样一种水准并非是一件容易的事情, 但是, 我们确实是需要去鼓掌表示认可的。
我们再拿谷歌眼下最好的那个生图模型来作个比较, 左边那张图画是由 Seedream 5.5 生成的, 右边那张图画则是出自谷歌 Nano Banana 2.1 之手。
根本就不用费劲去把图像放大, 只需要用眼睛直接一看, 谷歌生成的图片和文字的组合质量就很差劲, 表现得太糟糕了。
修改这个提示词, 让它生成一个英文的信息图, 左边的部分是 Seedream 5.5 , 右边的部分是 GPT Image 2.6 Sunburst。
搞不清楚到底是因为这个大模型它在偷懒, 还是因为别的什么原因, 反正GPT Image所产生的那个文本的内容确实变得更少了。
在Seedream 5.5把图片生成出来以后, 再把画面放大处理, 接着让谷歌翻译这个文本: Be a hero in life, a mighty soul in death。
是的, 没错！这句话讲的就是, 在活着的时候应当成为出类拔萃的人物, 就算是在死了以后也要作为鬼中的英雄豪强存在。
遗憾的是, 我这边并没有 GPT Image 2.5 Sunburst 模型的对比信息。
但是从小互还有宝玉这类的伙伴来进行测试这个情况来看, 大家都发现, Seedream 5.5 在处理中文里那些比较小的字的时候, 犯错的几率是相对更低的。
字节公司在其官方博客里说, 严重的文字错误率从上一代产品的 2.8% 降到了 0.4%, 另外还和其他生成图片的模型做了对比, 具体详情可以看这里:
https://seed.bytedance.com/zh/blog/more-realistic-images-more-stable-editing-across-100-rounds-introducing-seedream-5-5
写在后面
关于 Seedream 5.5 这个产品, 它已经在昨天的时间里, 被全面地开放给了所有的用户去使用, 这是一个已经完成的动作。
就是说, 在即梦、豆包, 或者是在豆包工作这些平台上面都能够在进行选择操作了, 可以选择用那个被称为是 Seedream 5.5 的这个技术来生成图片功能, 所以朋友们赶快去进行体验一下这个操作。
在经过了实际的测试与评估之后, 其展现出的效果略微超出了事先的预想范围。
本来以为这一回只是做了一遍平常的常规迭代, 可没有料到多轮编辑一致性这一个难题, 竟然被直接解决掉了。
透明图像的支持功能以及图层进行分离的操作, 这些手段都是确实能够提升效率的工具, 普通的使用者也就是非专业人士, 现在也完全不需要使用像Photoshop这样的软件来进行图像的抠取工作了, 这一变化对于电子商务、游戏开发制作、影视内容创作等等多个行业都是有好处的。
把文本渲染技术拿过来, 让文本变成图片, 比如说PPT或者是信息图, 这就成了一个挺方便的学习工具。
从总体而言说呢, Seedream 5.5 这次搞的更新操作, 在对图片生成那些模型的关键方面维度上, 确实都实现了一些突破性的进展。
多轮编辑的一致性实现了业界顶尖的标准, 真实性和文本渲染方面也同样表现突出, 整体的能力可以说是提升到了一个全新的高度。
我现在很期待 API 在火山引擎上线，第一时间接入我的 Obsidian 插件中。
能够看到这句话的朋友们, 毫无疑问都是乔帮主非常忠实的铁杆粉丝, 所以在此恳请大家点击一下屏幕下方的三连按钮。
