在3D资产生成领域,随着人工智能技术的不断进步,由重建和生成创建的3D资产质量已逐渐逼近甚至超越手工制作资产。然而,一个长期困扰行业的问题是,这些高质量资产在转化为网格以供3D行业应用时,往往面临质量下降的困境。当前网格提取方法产生的网格往往不及人类艺术家创作的网格(AMs)精细和高效。为了突破这一瓶颈,MeshAnything——一款全新的网格生成模型——应运而生,它以自回归的方式,将任何3D内容转化为艺术家级别的网格,为3D行业带来了革命性的变化。
据了解,MeshAnything由一组研究人员共同开发,旨在解决当前网格提取方法存在的问题。传统的网格提取方法通常依赖于密集的面片,忽略了几何特征,导致生成的网格效率低下、复杂度高,且表示质量不尽如人意。而MeshAnything则通过其独特的架构和算法,实现了高质量的网格生成。
MeshAnything的架构由VQ-VAE和一个形状条件的仅解码器变压器组成。首先,通过VQ-VAE学习网格词汇,为后续的网格生成提供基础。然后,在网格词汇上训练形状条件的仅解码器变压器,进行形状条件的自回归网格生成。这种设计使得MeshAnything能够生成与人类艺术家创作的网格相媲美的高质量网格。
实验结果表明,MeshAnything生成的网格在存储、渲染和仿真效率方面均显著提升,同时保持了与以往方法相当的精度。更令人瞩目的是,MeshAnything生成的AMs面数比以往方法少数百倍,这意味着它能够在保证质量的同时,大大降低计算资源和存储空间的消耗。
MeshAnything的另一个亮点是其高度可控性。通过与各种3D资产生产方法集成,MeshAnything可以根据用户需求生成不同风格、不同复杂度的网格。无论是工业设计、艺术创作还是数字娱乐等领域,MeshAnything都能满足用户的多样化需求。
MeshAnything的核心功能包括强大的网格生成能力、自动化艺术创作和多样的应用场景。借助自回归变压器技术,MeshAnything能够将各种形式的输入转化为精细的网格模型,让艺术创作变得更加自动化和智能化。同时,MeshAnything还支持多种输入格式,如图片、点云等,为用户提供了更加灵活和便捷的创作方式。
然而,MeshAnything也面临一些挑战和限制。目前,MeshAnything在A6000GPU上生成网格大约需要7GB内存和30秒时间。此外,由于计算资源的限制,MeshAnything目前仅对面数少于800的网格进行训练,无法生成面数超过800的网格。因此,对于形状复杂或细节丰富的3D资产,MeshAnything可能无法完全满足其需求。
AI旋风认为,MeshAnything的出现为3D行业带来了革命性的变化。它不仅能够将任何3D内容转化为艺术家级别的网格,而且具有高效、可控和多样化的特点。随着AI技术的不断进步和优化,MeshAnything有望在更多领域得到应用和推广,为3D行业的发展注入新的活力。