在人工智能与创意技术的交汇点上，上海科技大学再次展现出其非凡的创新实力，近日，该校科研团队成功推出了一款名为CLAY的革命性AI模型，该模型以其从文字描述或二维图像中直接生成精细3D物体的能力，引发了业界的广泛关注与热烈讨论。AI旋风认为，CLAY的问世不仅标志着3D内容生成技术的一次重大飞跃，更为游戏开发、电影制作、乃至3D打印等多个领域带来了前所未有的机遇。
CLAY模型的核心技术架构集成了多分辨率变分自编码器（VAE）与先进的扩散变换器(DiT)，这一创新组合为3D物体的生成提供了前所未有的灵活性和精度。VAE作为强大的编码工具，能够精准捕捉并编码3D几何形状在不同细节层次的特征，而DiT则以其卓越的生成能力，将这些特征转化为生动逼真的3D模型。尤为值得一提的是，CLAY直接处理3D内容的能力，跳脱了传统方法中先将3D转换为2D再处理的束缚，极大地提高了生成效率和质量。
CLAY的卓越表现离不开其庞大的训练数据集支持。据了解，该模型基于超过50万种3D模型的训练，这些模型覆盖了从日常生活用品到奇幻生物等广泛类别，为CLAY提供了丰富的学习素材和无限的创作灵感。此外，CLAY还具备强大的可控性，用户可以通过指定粗略形状、点云或边界框等额外输入，精确引导生成过程，从而实现从简单物体到复杂城市场景乃至手绘草图重建的多样化需求。
在与当前主流系统如Shap-E、DreamFusion、Wonder3D等的对比中，CLAY展现出了显著的优势。无论是文字转3D还是图像转3D任务，CLAY都能生成更为一致、表面更光滑、细节更丰富的几何形状。更令人惊叹的是，其生成高质量3D资产的速度之快，仅需约45秒即可完成，相比之下，一些同类系统可能需要数小时进行优化调整。这一速度优势无疑为创意工作者节省了大量宝贵时间，加速了创意到现实的转化过程。
尽管CLAY在3D内容生成领域展现出了巨大的潜力和价值，但上海科技大学的研究人员也清醒地认识到AI生成虚拟内容的潜在风险。为此，他们正积极规划并实施一系列安全措施，以确保CLAY技术的负责任使用，避免其被滥用于误导公众或侵犯隐私等不当行为。
展望未来，相信上海科技大学的研究团队将继续深化CLAY模型的研发，通过扩展训练数据、提升模型质量以及整合几何生成与材料合成功能等举措，推动CLAY向更加全面、智能的方向发展。同时，随着3D-Gen服务Rodin的开放，更多用户将有机会CL亲身体验AY的强大功能，共同探索3D内容生成的无限可能。
相关文章
