发布日期：2024-11-19 08:01 点击次数：162
在现在数字化时期，图形用户界面（GUI）原型计算是开荒交互式系统的迫切关节。GUI原型不仅有助于需求的获取，还能匡助用户和开荒团队测试、评估和考证计算理念。然而，创建高保真GUI原型普通是一个耗时且资源密集的过程。尽管现存不绝也曾探索了自动生成GUI原型的步伐，但这些步伐大多依赖于资源密集型的历练和微调，且主要生成低保真度的GUI布局。来自自德国曼海姆大学的不绝团队提倡了一种基于零样本（Zero-Shot, ZS）教唆的高保真GUI生成步伐，连合了检索增强生成（Retrieval-Augmented GUI Generation, RAGG）、教唆判辨（Prompt Decomposition, PDGG）和自我批判（Self-Critique, SCGG）等技巧，显耀提高了GUI原型的生成成果。
第一章：小序
GUI原型在软件开荒中饰演着迫切扮装，尤其是在需求获取阶段。高保真GUI原型大致匡助开荒团队与利益相干者进行更具体的疏导，从而幸免污蔑。然而，高保真原型的创建资本崇高且耗时，尤其是在需求时常变化的情况下。为了应酬这些挑战，不绝者们启动探索自动生成GUI原型的步伐。举例，Instigator和MAx-Prototyper等器具通过历练或微调大谈话模子（LLM）来生成低保真度的GUI布局。然而，这些步伐不仅需要多数资源，而且生成的布局普通难以集成到骨子的责任进程中。
本文提倡了一种基于零样本教唆的高保真GUI生成步伐，旨在通过更少的资源过问生成高质地的GUI原型。具体来说，本文提倡了三种零样本教唆步伐：检索增强生成（RAGG：Retrieval-Augmented GUI Generation ）、教唆判辨（PDGG：Prompt Decomposition for GUI Generation）和自我批判（SCGG：Self-Critique Looping for GUI Generation）。通过大规模的用户界面（UI）仓库和LLM的推理才智，这些步伐大致生成高保确实HTML/CSS GUI原型。
第二章：布景
2.1 基于当然谈话的GUI检索
为了已毕基于当然谈话的GUI检索，本文禁受了RaWi步伐，连合了Rico GUI仓库和Screen2Words（S2W）模子。Rico是一个包含发轫72,000个迁徙应用GUI的大规模公开数据集，而S2W为Rico中的22,000个GUI提供了简略的高层形色。通过连合这些资源，本文大致快速检索到与当然谈话需求（NLR）匹配的GUI原型。
2.2 大谈话模子（LLM）
LLM是基于Transformer架构的大规模生成模子，具稀有十亿参数，并在多数文本数据上进行预历练。GPT-3的发布象征着LLM在零样本学习才智上的糟塌，使其大致快速妥当未经过特定历练的新任务。本文哄骗了LLM的零样本学习才智，连合多种教唆步伐（如链式念念维教唆、教唆判辨和自我批判）来生成GUI原型。
第三章：步伐论
添加图片凝视，不发轫 140 字（可选）
这部分详实先容了用于生成GUI原型的多种零样本（Zero-Shot, ZS）教唆步伐。这些步伐包括基线步伐、教唆判辨（Prompt Decomposition, PDGG）、检索增强生成（Retrieval-Augmented GUI Generation, RAGG）和自我批判（Self-Critique, SCGG）。每种步伐都有其独到的上风和适用场景，底下将一一详实先容。
3.1 基线步伐：ZS-Instruction和ZS-CoT
ZS-Instruction（零样本指示教唆） ZS-Instruction步伐是最基础的零样本教唆步伐。它通过陋劣的指示教唆大谈话模子（LLM）生成HTML/CSS代码。具体来说，本文提供了一个明确的任务形色，条目LLM凭据简略的高层文本形色生成一个迁徙页面的HTML/CSS代码。为了确保生成的代码不错径直使用，本文还异常指点LLM不要提供解释或分隔代码块，而是径直输出好意思满的HTML/CSS代码。
ZS-CoT（零样本链式念念维教唆） ZS-CoT方限定更进一步，条目LLM在生成代码之前，先提供一个逐步的推理过程。这种步伐通过让LLM生成中间的谋略要领，而不是径直将高层文本形色映射为低层HTML/CSS代码，从而提高了生成代码的复杂性和准确性。ZS-CoT步伐在很多任务中进展出色，尤其是在需要复杂推理的场景中。
3.2 教唆判辨（PDGG）
教唆判辨步伐（PDGG）将GUI生成任务判辨为多个子任务，逐步生成GUI特征、计算念念路和布局结构。这种步伐更接近东谈主类众人的计算过程，大致充分哄骗LLM的谋略才智。具体来说，PDGG分为以下三个要领：
特征索求 发轫，LLM被条目凭据高层文本形色生成一个详实的GUI特搜聚积。这些特征包括GUI的各个组件过甚功能形色。通过这一步，LLM大致更深远地融合GUI的需乞降功能。
计算念念路生成 接下来，LLM被条目为每个特征生成计算念念路，包括使用哪些GUI组件和库来已毕这些特征。这一步匡助LLM酿成更具体的计算决策。
布局结构生成 终末，LLM被条目凭据之前生成的特征和计算念念路，生成一个合座的布局结构和页面计算。这一步将统统的信息整合在一皆，酿成一个好意思满的GUI计算决策。
通过这种分步的步伐，PDGG大致生成更高质地的GUI原型，而况每一步都充分哄骗了LLM的谋略才智。
3.3 检索增强生成（RAGG）
检索增强生成步伐（RAGG）连合了LLM的生成才智和GUI仓库的检索才智，通过检索与当然谈话需求（NLR）匹配的GUI原型，生成高保确实HTML/CSS代码。RAGG步伐的中枢念念想是哄骗大规模GUI仓库中的常识，快速检索到与NLR相干的GUI原型，并将其当作LLM生成代码的参考。
GUI仓库 本文禁受了Rico GUI仓库，这是一个包含发轫72,000个迁徙应用GUI的大规模公开数据集。Rico不仅提供了GUI的截图，还包含了端倪结构数据和语义凝视。为了提高检索完了的质地，本文还对Rico中的GUI进行了过滤，去除了包含隐蔽菜单的GUI。
LLM-Based GUI再行排序 为了进一步提高检索完了的相干性，本文提倡了一种基于LLM的GUI再行排序步伐。具体来说，本文发轫使用SentenceBERT（S-BERT）模子对NLR和GUI形色进行语义匹配，生成一个初步的检索完了。然后，本文使用LLM对检索完了进行二次排序和过滤，确保最终提供给LLM的GUI原型具有高相干性。
教唆步伐 在获取相干的GUI原型后，本文提倡了两种不同的教唆步伐：
特征索乞降团员 发轫，LLM被条目从每个相干的GUI原型中索求特搜聚积，然后将这些特搜聚积进行汇总数团员。通过这种步伐，LLM大致生成一个详细的特搜聚积，当作生成HTML/CSS代码的参考。
径直编码和生成 其次，本文径直将相干的GUI原型截图编码到LLM的教唆坎坷文中，条目LLM凭据这些原型生成HTML/CSS代码。这种步伐充分哄骗了LLM的图像融合才智，大致生成更具创意的GUI原型。
3.4 自我批判（SCGG）
自我批判步伐（SCGG）通过LLM对生成的GUI原型进行响应和修正，酿成一个迭代的GUI生成和响应轮回。SCGG步伐的中枢念念想是哄骗LLM本人的批判才智，不停检阅生成的GUI原型。
响应LLM SCGG步伐包括两个主要组件：响应LLM和原型生成LLM。响应LLM凭据现时的GUI原型和NLR生成响应观念，指出现时原型的不及之处和检阅建议。响应LLM被异常指点只提供文本形色，而不生成代码。
原型生成LLM 原型生成LLM则凭据响应观念和NLR生成新的GUI原型。通过这种迭代的步伐，SCGG大致不停检阅生成的GUI原型，提高其质地和准确性。
3.5 LLM-based GUI内容生成
添加图片凝视，不发轫 140 字（可选）
为了进一步提高GUI原型的信得过感，本文提倡了一种基于LLM的内容生成管谈。具体来说，本文发轫使用LLM生成信得过的文本和图像内容，然后将其集成到HTML/CSS代码中。通过这种步伐，生成的GUI原型不仅具有高保真度，迪士尼彩乐园黑钱吗还包含了丰富的内容，提高了其诱骗力和实用性。
内容生成要领
文本内容生成 LLM被条目凭据HTML/CSS代码生成信得过的文本内容，举例列表项、相干产物等。
图像内容生成 LLM还被条目生成详实的图像形色，然后使用DALL-E-3模子生成相应的图像。这些图像被上传到行状器，并集成到HTML/CSS代码中。
通过这种内容生成步伐，本文大致生成更具诱骗力和实用性的GUI原型，显耀提高了其合座成果。。
第四章：评估
添加图片凝视，不发轫 140 字（可选）
4.1 GUI形色数据集
本文通过Rico GUI数据集网罗了574个GUI形色，并邀请了30名参与者对这些形色进行评估，确保数据质地。最终，本文遴荐了50个高质地的GUI形色当作测试集。
4.2 评估计算
本文邀请了100多名具有UI/UX施展注解的众包工东谈主对生成的GUI原型进行评估，共网罗了发轫3,000个凝视。评估方针包括功能好意思满性、功能宽度、功能已毕、信息组织、视觉诱骗力、诞妄率、合座惬意度和应用好意思满性。
4.3 模子建造
本文禁受了GPT-4模子进行践诺，并建造了兼并的温度参数（t=0.50）以均衡生成输出的创造性和一致性。本文相比了基线步伐、教唆判辨、RAGG和SCGG四种步伐的成果。
第五章：完了与征询
添加图片凝视，不发轫 140 字（可选）
在第五章中，本文详实先容了践诺评估的完了，并对这些完了进行了深远征询。通过大规模的众包工东谈主评估，本文对生成的GUI原型在多个维度上进行了评分，包括功能好意思满性、功能宽度、功能已毕、信息组织、视觉诱骗力、诞妄率、合座惬意度和应用好意思满性。以下是对每个不绝问题的详实分析和征询。
5.1 RQ1：LLM-based GUI再行排序的有用性
践诺完了 本文提倡的LLM-based GUI再行排序步伐在多个评估方针上显耀优于现存的BERT-LTR模子。具体来说，本文步伐的平均精度（AP）达到了0.818，而BERT-LTR模子的最好精度仅为0.501。此外，本文步伐在Precision@k、HITS@k和NDCG@k等方针上也进展出色。
征询 这些完了标明，LLM-based GUI再行排序步伐大致有用减少误报（FP），提高检索完了的相干性。异常是在高精度的条目下，本文步伐大致生成更少的不相干完了，从而为后续的GUI生成任务提供了更高质地的输入。此外，本文还对误报进行了详实分析，发现这些误报普通仍然具有一定的相干性，仅仅鬈曲了一些次邀功能或细节。
论断 LLM-based GUI再行排序步伐显耀优于现存的GUI再行排序模子，大致为GUI生成任务提供更高质地的检索完了。
5.2 RQ2：ZS教唆步伐的有用性
践诺完了 在评估ZS教唆步伐的有用性时，本文发现自我批判步伐（SCGG）在大多数评估方针上显耀优于基线步伐和教唆判辨步伐（PDGG）。具体来说，SCGG在功能好意思满性、功能宽度、功能已毕、信息组织、视觉诱骗力、诞妄率、合座惬意度和应用好意思满性等方面均进展出色。RAGG步伐在使用了发轫5个示例的情况下，也在功能宽度和应用好意思满性方面进展优异。
征询 SCGG步伐的上风在于其迭代的响应和修正机制，大致不停检阅生成的GUI原型。通过屡次迭代，SCGG大致生成更复杂、更好意思满的GUI原型，显耀提高了其功能性和视觉诱骗力。RAGG方限定通过连合LLM的生成才智和GUI仓库的检索才智，生成了更具创意和实用性的GUI原型。
论断 SCGG步伐在大多数评估方针上显耀优于基线步伐和PDGG步伐，RAGG步伐在使用了饱和数目的示例后也进展出色。
添加图片凝视，不发轫 140 字（可选）
5.3 RQ3：RAGG中示例数目的影响
践诺完了 践诺完了标明，跟着示例数目的加多，RAGG步伐的成果逐步提高。异常是在使用了7个示例的情况下，RAGG在功能好意思满性、功能宽度、功能已毕和应用好意思满性等方面均显耀优于基线步伐。
征询 这些完了标明，RAGG步伐大致通过加多示例数目来提高生成GUI原型的质地。更多的示例意味着LLM大致参考更多的相干GUI原型，从而生成更复杂、更好意思满的GUI布局和计算。
论断 加多示例数目大致显耀提高RAGG步伐的成果，异常是在功能相干性和应用好意思满性方面。
添加图片凝视，不发轫 140 字（可选）
5.4 RQ4：SCGG中轮回次数的影响
践诺完了 跟着轮回次数的加多，SCGG步伐在功能相干性和应用好意思满性方面的成果逐步提高。异常是在进行了3次轮回后，SCGG在功能好意思满性、功能宽度和功能已毕等方面均进展出显耀检阅。
征询 这些完了标明，SCGG步伐通过屡次迭代大致不停检阅生成的GUI原型。每次迭代都通过响应LLM生成检阅建议，并通过原型生成LLM生成新的GUI原型，从而逐步提高其质地和准确性。
论断 加多轮回次数大致显耀提高SCGG步伐的成果，异常是在功能相干性和应用好意思满性方面。
添加图片凝视，不发轫 140 字（可选）
5.5 RQ5：GUI内容生成的有用性
践诺完了 践诺完了标明，基于LLM的GUI内容生成步伐显耀提高了GUI原型的视觉诱骗力、合座惬意度和应用好意思满性。异常是在SCGG步伐中，内容生成进一步增强了GUI原型的信得过感。
征询 这些完了标明，通过生成信得过的文本和图像内容，GUI原型的诱骗力和实用性得到了显耀提高。内容生成步伐不仅加多了GUI原型的视觉诱骗力，还提高了其功能好意思满性，使其看起来更像一个好意思满的应用模范。
论断
基于LLM的GUI内容生成步伐显耀提高了GUI原型的视觉诱骗力、合座惬意度和应用好意思满性。
添加图片凝视，不发轫 140 字（可选）
第六章：局限性
尽管本文提倡的步伐在GUI生成方面进展出色，但仍存在一些局限性。发轫，LLM-based GUI再行排序步伐诚然显耀优于现存步伐，但在某些情况下仍会产生误报。其次，SCGG步伐诚然成果显耀，但需要破钞多数的谋略资源。异日不毫不错进一步优化这些步伐，提高其服从和适用性。
第七章：有用性恐吓
7.1 里面有用性
本文通过严格的参与者筛选和介怀力查验，确保了评估数据的质地。然而，生成的原型中功能数目的加多可能会影响信息组织和视觉计算的评估完了。
7.2 外部有用性
本文的践诺数据基于Rico GUI数据集，可能完了了完了的普适性。异常是关于某些出奇规模的GUI，本文步伐的适用性可能有限。
第八章：相干责任
本文回首了现存的GUI生成和检索步伐，指出了这些步伐在生成低保真度布局和鬈曲交互性方面的局限性。本文提倡的步伐通过连合LLM和GUI仓库，显耀提高了GUI原型的生成成果。
第九章：论断与异日责任
本文提倡了多种零样本教唆步伐，显耀提高了GUI原型的生成成果。异常是SCGG步伐在大多数评估方针上进展优异。异日不毫不错进一步优化这些步伐，提高其服从和适用性。
曾经以为只要进了一家公司，就能安稳度日，却不曾想市场风云变幻，行业竞争激烈，企业也有兴衰成败。没有永远稳定的工作，只有不断提升的能力，才能在动荡的职场中拥有更多选择权。
通过本文的不绝，咱们为高保真GUI原型的自动生成提供了新的念念路和步伐，显耀裁减了原型计算的资本和时刻过问迪士尼彩乐园为人类，为交互式系统的开荒提供了有劲复古。