在UI设计和前端工程师之间，可能需要神经网络。最近，总部位于哥本哈根的初创公司Uizard Technologies开发了一种名为“ pix2code”的系统。通过深度学习，该系统可以根据输入的图形用户界面（GUI）屏幕截图直接输出相应的代码，从而无需前端手动编写代码。目前，由pix2code生成的代码的准确率已达到77％，并且这些代码与Android，iOS和Web界面平台兼容。有多神奇？只需观看下面的视频。 UIzard的创始人Tony Beltramelli表示，为了创建该神经网络，研发团队必须克服三个主要困难：第一个是计算机视觉级别-计算机无法自动识别和理解给定的对象和场景。 。他们也无法判断自己的位置和特征；第二个是语言级别-他们需要教神经网络理解文本，以便可以创建准确的样本。最后，神经网络需要理解代码，文本和相应的图像。的协会。 Beltramelli还表示，将来，他们可能会使用Generative Adversarial Networks（GAN）来进一步改善pix2code。 GAN已经证明了其在生成序列和图像方面的优势，但是由于该领域的研究仍处于相对初级阶段，因此训练神经网络仍需要大量时间。附件纸地址：https://arxiv.org/abs/1705.07962 GitHub地址：https://github.com/tonybeltramelli/pix2code另外，在GitHub上，Beltramelli还回答了一些与pix2code相关的常见问题。 Qubit编译此部分的方法如下：问：何时可以使用数据集？答：我们已将论文提交到今年的NIPS。在给出接受或拒绝的结果后，数据集将打开。具体时间大约是九月。届时，我们将提供数据集中包含的GUI屏幕快照，相关的DSL代码以及iOS，Android和Web界面的三个目标代码。问：源代码何时发布？答：最初如本文所述，我们没有开放源代码的计划。但是我没想到这个项目会引起如此多的关注，因此我们决定开源本文中提到的pix2code实现代码和数据集。问：pix2code是否支持其他目标平台/语言？答：不，pix2code只是一个研究项目，它将保持论文中描述的状态。该项目实际上只是我们在Uizard Technologies所做的工作的一小部分展示。当然，我们欢迎您自己在其他目标平台/语言上进行试验。问：我可以在前端项目中使用pix2code吗？答：不，pix2code只是一个实验项目，目前尚无法将其应用于特定情况。但是我们正在努力使其商业化。问：如何评估模型的性能？答：通过将生成的令牌与预期令牌进行比较，可以在DSL级别上获得论文中报告的准确或不正确的结果。如果两者之间的长度有任何差异，也将被视为错误。问：训练该模型需要多长时间？答：在Nvidia Tesla K80 GPU上，只需不到5小时即可优化数据集中包含的109 * 10 ^ 6参数。因此，如果您想在三个目标平台上训练此模型，则大约需要15个小时。问：我是前端开发人员？我快要失业了吗？ （我曾多次真诚地问过这个问题）答：AI不会这么快地取代前端工程师。即使假设存在成熟版本的pix2code，在每个不同平台/语言上生成的代码也可以达到100％的准确性。一个好的前端仍然需要逻辑，交互，高级图形和动画以及所有其他用户。最喜欢的东西。我们这样做的目的是弥合UI / UX设计人员与前端开发人员之间的鸿沟，而不是取代它们。我们希望使设计师能够创造更好的产品，同时允许开发人员将更多的时间花在这些核心功能上。我们相信，人工智能将在未来与人类合作，而不是取代人类。