赌钱app下载传统主张LPIPS等形态依靠预进修的图像编码器-澳门赌钱网-最新版

剪辑：LRST赌钱app下载

【新智元导读】VQAScore是一个诈欺视觉问答模子来评估由文本指示生成的图像质地的新形态；GenAI-Bench是一个包含复随笔本指示的基准测试集，用于挑战和普及现存的图像生成模子。两个用具不错匡助商议东谈主员自动评估AI模子的性能，还能通过弃取最好候选图像来践诺改善生成的图像。

连年来，生成式东谈主工智能（AIGC）激励粗犷存眷。Midjourney、Imagen3、Stable Diffusion和Sora等模子大要凭据当然讲话指示词生成好意思不雅且传神的图像和视频，广受用户重视。可是，这些模子在处理复杂的指示词时仍存在不及。举例，当让Stable Diffusion或Midjourney生成「棕色的狗绕着一棵树追玄色的狗」时，模子可能会失实生成两只黑狗，或将「追赶」诬蔑为两只狗在「玩耍」。有什么办法不错自动发现这些模子的不及，并进一步普及它们呢？为惩办这一问题，CMU和Meta团队集结推出了全新的评估主张VQAScore及基准GenAI-Bench，用于自动评估图像、视频和3D生成模子在复杂指示词下的融会。ECCV’24论文连结:：https://arxiv.org/abs/2404.01291CVPR’24 SynData最好论文连结：https://arxiv.org/abs/2406.13743论文代码：https://github.com/linzhiqiu/t2v_metrics模子下载：https://huggingface.co/zhiqiulin/clip-flant5-xxlVQAScore模子：https://huggingface.co/zhiqiulin/clip-flant5-xxlGenAI-Bench数据集：https://huggingface.co/datasets/BaiqiL/GenAI-Bench这些效劳已在ECCV和CVPR等顶会上发表，并被谷歌DeepMind用于评估其最新的Imagen3模子，被誉为现时文生图领域迥殊CLIP等模子的最好评估决策！配景先容连年来，文生图模子（如DALL-E 3、Imagen3、Sora等）发展飞快，但怎么准确评估这些模子的融会已经一个关键问题。尽管很多公司弃取东谈主类评估（Human Evaluation）来普及限制的准确性，但这种姿色本钱高、难以大界限应用，况兼短少可复现性。在图片生成领域，已有多种形态使用模子来自动评估（Automated Evaluation）生成图像的融会，其中常见的主张包括CLIPScore、FID、LPIPS、PickScore、ImageReward和HPSv2等。可是，这些主张确切富饶好吗？现存自动化主张的不及在评估两张图片的一样性（similarity）时，传统主张LPIPS等形态依靠预进修的图像编码器，将图像特征镶嵌后再筹谋距离。可是，这类形态只可评估图像与图像之间的一样度（image-to-image metric），而无法判断文本和图像之间的一样度（text-to-image metric）。为了惩办这一问题，现时主流的文生图评估弃取了CLIPScore，通过孤独的图像编码器和文本编码器，将图像和文本镶嵌到合并特征空间，并通过筹谋特征一样度来判断它们的匹配进度。可是，CLIPScore存在严重的「bag-of-words」问题：也即是说，CLIP在处理文本时可能忽略词序，浑浊像「月亮在牛上头」和「牛在月亮上头」这么的句子。这使得模子难以准确收拢复随笔本中的关键信息。为了惩办这一问题，CMU和Meta的商议团队提倡了VQAScore，弃取更弘大的生成式VQA模子（如GPT-4o）来更准确地评估文生图模子：VQAScore：一种简便有用的评估主张商议团队基于GPT-4o等用于视觉问答（VQA）任务的生成式视觉讲话模子，将图像与指示词之间的一样度界说为模子在恢复「这个图像是否露出了[指示词]？请恢复是或否。」时给出「是」（Yes）谜底的概率：举例，在筹谋某张图像与指示词「牛在月亮上头」之间的一样度时，VQAScore会将图像和问题「这个图像是否露出了『牛在月亮上头』？请恢复是或否。」输入模子，并复返模子弃取「是」的概率。另外，商议团队发现，现时主流的VQA模子（如LLaVA-1.5）使用了具备单向（auto-regressive）提神力机制的讲话模子（如Llama）。这种机制导致模子在索取图像特征时，无法提前获取指示词的圆善信息。为了更有用的索取视觉特征，商议团队使用开源数据进修了一个更强的CLIP-FlanT5 VQA模子。该模子弃取了具备双向提神力机制的讲话模子FlanT5，使得图像特征索取大要凭据输入的指示词动态疗养。商议标明，这一机制在普及VQA模子对复杂指示词的清楚方面效果显耀。VQAScore比主流评估主张更简便高效。很多传统主张依赖大皆东谈主类标注（如 ImageReward、PickScore）或独有模子（如GPT-4Vision）才调取得好融会。比拟之下，VQAScore具备以下中枢上风：1. 无需东谈主类标注：VQAScore能径直诈欺现存的VQA模子取得优异融会，无需在东谈主工标注数据上进行相当微调。2. 分数更精确：使用GPT-4给图片打分（如在0到100之间打分）时，模子时常会卤莽给出高分（如90），而忽略图片的真骨子量。比拟之下，VQAScore使用概率值来判断图片与指示词的一样度，限制愈加精确。VQAScore实验限制商议东谈主员在大皆复杂图文匹配基准（如Winoground和EqBen）以及文生图评估基准（如Pick-a-pic和TIFA160）上对VQAScore进行了测试。限制露出，VQAScore在所有图像、视频和3D生成任务的基准上迥殊了CLIPScore等流行主张，取得了最好融会。值得提神的是，VQAScore弃取了开源模子（CLIP-FlanT5），却仍大幅迥殊了使用更强闭源模子（如PALI-17B和GPT-4）的形态（如VQ2、ViperGPT 等）。此外，VQAScore也迥殊了依赖指示办法进行视觉推理的先进形态（如 CVPR'23最好论文Visual Programming和ViperGPT等），进一步考据了端到端评估决策的有用性。最新的谷歌DeepMind Imagen3陈述还指出，使用更弘大的VQA模子（如 Gemini）不错进一步普及VQAScore的融会，突显了其在改日生成式模子评测中的后劲。GenAI-Bench：由缱绻师汇注的高难度文生图基准为了更好地评估文生图模子过火评估主张的性能，商议团队推出了GenAI-Bench。该基准包含1600个由缱绻师汇注的复杂指示词，遮掩了10种生成模子（如DALL-E 3、Midjourney、SDXL等），并配有跳跃80,000条东谈主工标注。GenAI-Bench比拟较之前的基准有以下上风：1. 更具挑战性：商议标明，大多数文生图/视频模子在GenAI-Bench上融会仍有不及，还有大皆的普及空间。2. 幸免蒙眬词汇：所有指示词均过程严格筛选，幸免使用假大空的词语，确保评估更具客不雅性。3. 细粒度手段分析：GenAI-Bench能提供更精良的手段分类和分析，匡助商议东谈主员深入了解模子在不同智商上的具体融会。GenAI-Rank：用VQAScore来普及文生图融会商议东谈主员构建了一个新的GenAI-Rank基准，为每个指示词使用DALL-E 3和Stable Diffusion（SD-XL）生成3到9张候选图像。商议标明，从这些候选图像中复返VQAScore得分最高的图像，不错显耀普及文生图模子的效果。这一形态无需微调生成模子自己，因此也能优化（黑箱）独有模子，如DALL-E 3。实验限制进一步评释，VQAScore在图像排序上比其他形态（如CLIPScore、PickScore等）愈加有用。结语VQAScore和GenAI-Bench为文生图模子提供了更精确且全面的评估，已被Imagen3、VILA-U、RankDPO等多个模样用于更好地评估和优化最新的生成式模子。商议团队已开源代码和数据集，期待改日更多探索与进展！团队先容

团队的一作林之秋（Zhiqiu Lin）是卡内基梅隆大学的博士商议生，由Deva Ramanan教悔引导，专注于视觉-讲话大模子的自动评估与优化。Zhiqiu Lin在CVPR、NeurIPS、ICML、ECCV等顶级会议上发表了十数篇论文，并曾荣获最好论文提名和最好短论文奖等。其商议效劳在生成模子和多模态学习领域受到了学术界和工业界的粗犷招供。

Pengchuan Zhang是Meta AI（原Facebook AI商议院）的东谈主工智能商议科学家，曾在微软商议院担任高档商议科学家。他的商议领域主要齐集在深度学习、筹谋机视觉和多模态模子等标的，曾发表多项具有深入影响力的效劳，举例AttnGAN、OSCAR、VinVL、Florence和GLIP等。他在顶级会议如CVPR、ICCV、NeurIPS等发表了大皆高影响力论文，是筹谋机视觉和多模态模子领域的领军东谈主物之一。

Deva Ramanan教悔是筹谋机视觉领域的国外著名学者，现任卡内基梅隆大学教悔。他的商议涵盖筹谋机视觉、机器学习和东谈主工智能领域，曾赢得多项顶级学术荣誉，包括2009年的David Marr奖、2010年的PASCAL VOC终生建设奖、2012年的IEEE PAMI后生商议员奖、2012年《大家科学》评比的「十位凸起科学家」之一、2013年好意思国国度科学院Kavli Fellow、2018年和2024年的Longuet-Higgins奖，以及因其代表性责任（如COCO数据集）赢得的Koenderink奖。此外赌钱app下载，他的论文在CVPR、ECCV和ICCV上屡次赢得最好论文提名及荣誉奖。他的商议效劳对视觉识别、自动驾驶、和东谈主机交互等应用产生了深入影响，是该领域极具影响力的科学家之一。