GPT-4o图像生成架构被“破解”了！
最近一阵，“万物皆可吉卜力”让GPT-4o的图像生到手能一炮而红，东谈主们随之兴趣：
4o图像生成的架构底层逻辑到底是什么？GPT-4o究竟强在哪？存在哪些短板？
行动解答，北京大学、中山大学等多家科研机构共同推出GPT-ImgEval，初次系统评估了GPT-4o在图像生成上的着实发达。
这份量化评估基准不仅囊括了生成质料、剪辑智力和知识推理，还尝试揭示GPT-4o背后的可能架构，还接洽了它生成图像的可检测性问题。
底下具体来看。
GPT-4o架构揭秘：可能使用了扩散+自转头羼杂有野心
GPT-ImgEval团队尝试“反向破解”GPT-4o的图像生成架构。
策动团队在论文中提议了4种候选架构有野心（见下图），尽管细大要有不同，但有少量是一致的：GPT-4o很可能收受的是自转头骨干+扩散头的羼杂结构。
庸碌来说，它的责任经由可能是这么的：文本或指示→ 自转头模块合资语义 → 生成中间视觉Token → 扩散模子将这些Token解码成图像。
天然，架构猜想不可仅靠设想。为此，策动团队遐想了一套严谨的实证要领：
先中式一组融合的文本提醒（prompt），永别使用自转头模子（VAR）和扩散模子（Diffusion）各自生成1万张图像行动对比样本；诈欺这些图像锻练一个二分类器，让它学会识别图像是“AR作风”依然“Diffusion作风”；然后，用一样的Prompt交给GPT-4o生成图像，将这些图像输入该分类器进行识别。
也即是说，通盘这个词过程中，提醒词保持十足一致，只看不同模子生成的图像“长得像谁”，以此判断GPT-4o的生成面目更接近哪类结构。
收尾很径直：GPT-4o生成的图像险些一谈被识别为“扩散作风”，这就从图像作风维度考据了GPT-4o的确可能用了扩散模子行动解码器。
除了对视觉解码器的分析，策动东谈主员也深切接洽了视觉编码面目。他们指出，一些策动（如UniTok）以为基于向量量化（VQ）的编码器可能会收缩模子的语义合资智力。
因此，作家以为如若收受了pixel encoder，其约略率是连气儿（非VQ）的而不是闹翻（VQ）的，并基于此提议了四种可能的竣工架构清楚图。
三大维度全面评估GPT-4o图像智力
GPT-ImgEval聚焦三类中枢任务，对GPT-4o进行了系统评估：
文本生成图像（GenEval）：通过对物体数目、热诚、位置、组合属性等细粒度维度进行测评，考据模子对文本的合资与图像的构造智力。指示剪辑图像（Reason-Edit）：模拟用户给出修改指示后，模子在保留图像语义基础上进行局部剪辑的智力，如替换、删除、变色等。基于寰宇知识的语义合成（WISE）：磨练模子是否能将对寰宇学问、文化布景、科学旨趣等知识着实“显性化”为图像输出。
为了赈济这一系统评估，策动团队勾引了一套针对GPT-4o的自动化交互剧本，处罚了现时该模子尚未洞开图像生成API的实际问题。
这套剧本径直与GPT-4o网页界面交互，模拟着实用户步履：
自动输入提醒词（Prompt）、点击提交自动握取生成图像并存储存档每次央求会新开浏览器窗口，确保不同任务之间高下文不相互烦嚣赈济任务批量开动，可达成大领域、可访佛的图像生成任务治愈
最终，GPT-ImgEval的举座责任流如下图所示：
在文本生成图像（GenEval）任务中，GPT-4o赢得了0.84的总得分，卓绝当今通盘扩散类与自转头类图像生成模子。
尤其在以下几项中发达杰出：数目收尾（0.85）、热诚绑定（0.92）、空间位置（0.75）、属性组合（0.61）。
下图是一些GPT-4o使用GenEval基准中的prompt生图的具体例子：
而在图像剪辑任务（Reason-Edit）中，GPT-4o得分高达0.929，最初第二名朝上0.35，阐发其在指示合资和局部收尾上发达极其沉稳。
在知识合成（WISE）任务中，GPT-4o一样大放异彩，多个子维度（生物、文化、物理等）得分均朝上0.9，总分0.89，远高于现时开源模子（多数在0.4~0.5之间）。
这阐发GPT-4o具有繁多的寰宇知识和推明智力，这应该是收货于GPT-4o这种融合多模态框架。
更多策动论断
GPT-4o vs Gemini 2.0 Flash：多轮剪辑对比
策动团队还对GPT-4o与Google的Gemini 2.0 Flash进行了多轮图像剪辑对比。
除了性能与架构机制，GPT-4o在本体的使用体验中也展现出了强劲的竞争力。策动团队对其与Google最新发布的 Gemini 2.0 Flash 进行了多轮剪辑任务的实测对比。
GPT-4o赈济竣工的多轮对话式剪辑经由，高下文一致性强Gemini反馈速率更快，但每轮需重新上传图像，缺少连气儿性连气儿修改、复杂指示合资、图像语义保持方面，GPT-4o发达出更高的沉稳性
从举座趋势来看，两者在剪辑轮数加多后均出现一致性着落，但GPT-4o着落更缓，保持更稳。
GPT-4o与Gemini 2.0 Flash多轮剪辑一致性对比如下图所示：
这一双比收尾也进一步考据了：交融大模子语义合资智力的图像生成系统，迪士尼彩乐园3怎么玩在交互式创作任务中，正在展现出压倒性上风。
GPT-4o仍存五大问题，图像量化评估并非无解
策动团队总结出GPT-4o现时的五个常见生成难点：
无法严格保持原图尺寸与边框比例，恐怕会自动裁切或缩放强制锐化，即使用户条目生成隐约图，也会被模子“优化”成高清剪辑偏暖、全图色调变化，即使只修改小部分，可能全图色调以至是全局都会被一定进程修改复杂场景失真，多东谈主或东谈主-物体交互场景易出现姿态不天然或结构紊乱非英文文本赈济较弱，如汉文记号常出错，难以在复杂布景准确生成
这些问题不仅影响使用体验，也提醒咱们——GPT-4o仍在追求“天然感”与“精确收尾”之间寻找均衡。
这些图像能被检测出来吗？
除了感知层面的不雅察和评估，策动团队进一步想考一个要津问题：GPT-4o生成的图像，是否确切不错“以伪乱真”？
为此，策动者使用多个主流图像取证模子，对GPT-4o生成的图像进行了系统性评估。
收尾涌现，包括Effort、FakeVLM在内的多种检测器，对GPT-4o图像的识别准确率多数朝上95%，最高接近99.6%。
不单是停留在数值层面，策动团队还对量化评估到手的原因进行了机制层面的归因分析：
GPT-4o可能在图像生成过程中引入了超分辨率模块，通过上采样插值导致赫然伪影模子有过度锐化与细节增强倾向，视觉收尾虽然“良好”，却留住了被取证模子捕捉的印迹在用户未条目修改时，仍可能出现尺寸、色调的隐性变化，挫折了图像一致性GPT-4o生成图像色调多数偏暖，举座作风趋同，易被量化评估模子勾引“作风识别口头”
可量化评估，并非缺点，而是AIGC安全遐想的基线智力
薪火照明弹已重新设计-现在使照明弹的半径增加50%
由于《异域镇魂曲》采用了“异度风景”这个讨论哲学思考的冷门战役模组，游戏中大量世界观设定与哲学讨论让玩家难以上手，同时相对于其他DND游戏略显怪诞的艺术风格以及操作问题，导致游戏实际上卖得并不好。不过经过多年的沉淀，《异域镇魂曲》在游戏剧情深度以及角色塑造上的成功，让本作成为了欧美CRPG玩家口中的佳作。
策动团队以为，是否可量化评估，不应成为权衡生成模子智力强弱的次序，而应被视为评估其可控性与安全性的垂危宗旨。
在将来的AIGC系统遐想中，“传神”天然垂危，但“可识别”、“可跟踪”一样不可或缺。GPT-4o生成图像中的伪影、色调偏好等特征，也恰是激动生成量化评预策动的垂危龙套口。
这也恰是GPT-ImgEval的互异化亮点之一：不仅作念量化评估，更从安全机制的角度进行深切会诊和前瞻探索。
GPT-4o很强，但“终端”远未到来
GPT-ImgEval不仅考据了GPT-4o在图像生成上的上风，更指出了它仍需龙套的短板。尤其是在可控性、多语种处理、局部剪辑沉稳性等方面，仍有不少进步空间。
GPT-ImgEval不仅系统性考据了GPT-4o在图像生成、图像剪辑与知识合成三大任务中的最初发达，更进一步揭示了其架构特征、失败口头与安全鸿沟。
该策动不仅在评测维度上达成了遮蔽夙昔、量化精确，也从架构判别、剪辑可控性、多轮合资智力和伪影检测等多个层面，对GPT-4o进行了技艺全景式会诊。
策动团队以为，该责任的垂危意旨在于：
1、提供系统化多模态评估范式：初次从“生成-剪辑-推理”全经由起程，勾引轮廓图像智力测试框架；
2、激动闭源模子的“可诠释评测”策动：在无法打听模子细节的前提下，勾引架构猜想和步履归因机制；
3、强调通用多轮剪辑场景的实用价值：用用户视角考据语义合资一致性与细节保真性，为交互遐想落地提供参考；
4、补皆图像生成安全性策动缺口：通过可检测性实证，发现图像中的上采样/超分伪影、色调特征，激动AIGC取证技艺演进。
更多细节接待查阅原论文。
论文地址：https://arxiv.org/pdf/2406.19435代码衔接：https://github.com/PicoTrex/GPT-ImgEval数据集下载：https://huggingface.co/datasets/Yejy53/GPT-ImgEval