10秒图片重建3D模型的开源魔法！昂贵NFT能否3D打印？

全文2700字，阅读需4分钟。本文分享腾讯ARC实验室发布的图片三维建模开源技术以及实测后的感悟。

AM易道导语：一张照片引发的风暴

之前AM易道分享过图像转3D模型的很多AI商用服务，今天，AM易道要为大家介绍一项开源方案：

腾讯ARC实验室发布的InstantMesh技术。

这个刚刚在arXiv上发布的研究成果（arXiv:2404.07191v2）展现了丝滑能力：

只需一张2D（带景深明暗关系）图片，短短10秒就能生成3D模型。

突发奇想，AM易道做了一个大胆的尝试：我们选取了曾创下340多万美元天价的Bored Ape NFT之一作为测试对象。

经AM易道尝试，InstantMesh还原了这只百无聊赖的猿猴形象的细节，从标志性的表情到服装，虽然细节还有待优化，但至少转换成了可供3D打印的模型。

把价值连城的数字艺术品通过AI技术+3D打印生产成为触手可及的实体收藏品，是AM易道认为其中一个有趣的小众应用方向。

在深入解析这项技术之前，让我们先了解一下InstantMesh背后的团队。

这项研究来自腾讯PCG的ARC实验室和上海科技大学的联合攻关，汇集了计算机视觉和3D重建领域的专家。

研究团队已经宣布将开源所有代码和模型权重，这无疑将加速3D内容创作的技术革新。

开源项目地址和信息在文末。

请跟随AM易道一起来揭秘这个能将2D图片变为3D模型的开源黑科技！

深度解析：从2D到3D的魔法

看到图1中展示的效果，相信很多读者都会惊叹：这真的只用了一张2D图片就能重建出如此精细的3D模型吗？

从可爱的卡通人物到精致的家具用品，从复杂的机械结构到充满艺术感的装饰品，InstantMesh展现出令人叹为观止的通用性和精确度。

这个技术的核心创新在于巧妙地结合了两大关键技术。

如果把传统的3D重建比作手工雕刻，那InstantMesh就像是一位既有"慧眼"又有"巧手"的雕塑大师。

首先，它的"慧眼"是多视角扩散模型（Multi-view Diffusion Model），能够从单张图片想象出物体在不同角度下的样子。

就像艺术家看到一件物品的正面，就能在脑海中构思出它的侧面和背面是什么样子。

其次，它的"巧手"则是稀疏视图大型重建模型（Sparse-view Large Reconstruction Model），能够将这些不同角度的视图精准地转换为完整的3D网格模型。

这就像雕塑家能够将脑海中的立体构想完美地呈现在作品中。

通过图2所示的技术流程，我们可以看到这个"魔法般"的转换过程是如何实现的。

对具体算法执行感兴趣的读者，请自行查阅arXiv相关论文。

技术优势：颠覆传统的突破性创新

InstantMesh的核心优势体现在三个关键维度：处理效率、重建质量和通用性能。

从图3的对比结果我们可以清晰地看到，在处理相同的输入图片时，InstantMesh展现出了与其他CRM、LGM、TripoSR等算法的优势。

在技术层面，InstantMesh引入了两个创新。首先是差分等值面提取模块（Differentiable iso-surface extraction），这个模块能够直接在网格表面上应用几何监督信息，如深度图和法向量。

传统的3D重建技术就像是在黑暗中摸索物体的形状，只能得到模糊的轮廓。

而InstantMesh的差分等值面提取模块则像是打开了明亮的探照灯，能同时"看到"物体的深度、表面法线等立体信息。

想象一下，当你在捏橡皮泥时，不仅能看到泥块的外形，还能精确感知每一处凹凸的走向，这就是InstantMesh的工作方式。

第二个突破则像是AI的"学习成长"过程。

InstantMesh采用了一种独特的"先粗后细"的学习策略。

这就像学画画，我们总是先打草稿（第一阶段的NeRF预训练），确定了大体轮廓后，再一步步完善细节（第二阶段的网格精调）。

这种渐进式的学习方法不仅让AI"学习"得更快，还确保了最终作品的精致度。

从实验数据来看，这种方法在Google扫描物体数据集上取得了令人瞩目的成绩，无论是图像品质（PSNR）、结构相似度（SSIM）还是视觉感知质量（LPIPS），都达到了领先水平。

NFT的3D重建之旅：从像素到实体（AM易道实测）

其实这个算法最核心的是需要一张好的图片，经过测试，如果纯粹的卡通图片并不能生成3D模型。

比如用下图：

经过处理背景后：

经过算法处理后的多视角图：

可以看到，在这一步时候就已经出问题，多视角试图并未能形成任何三维立体：

前文说过，这个算法是“能够直接在网格表面上应用几何监督信息，如深度图和法向量。

”

经过我们的测试，其三维重建所需要的是带有深度的图片信息，比如一些阴影表现。

我们从网上找了另一张带阴影信息的无聊猴，看起来更立体的平面图，可以看到面部和身体都含有不同程度的阴影。

开始处理，祛除不相关背景：

非常关键的一步，形成多视角图：

可以看到，效果非常棒！

这时，直接输出obj文件：

虽然细节还有待提升，可以通过更多的拟合次数来提高效果。

如果丢掉贴图信息，纯看3D模型本身质量如何呢？

纯看模型本身，效果不理想，分辨率极低，基本是无法3D打印的。

为了排除是AM易道图片选取的问题，我们用官方推荐的图片再测试了一遍：

输出的带贴图模型和素模效果差距仍然较大：

未来应用浅析

从论文图4展示效果我们可以看到，作为数字化内容创作还是高效高质的。

但我们尝试将无聊猴NFT转换为3D模型的过程中发现，虽然模型能够基本还原猿猴的特征，但在细节表现上还有提升空间。

AM易道在测试过程中总结以下关键问题：

1. 表面分辨率问题：当前三平面解码器输出的模型表面细节明显不足，与专业建模的效果还有较大差距。
   
   

2. 计算资源需求：要提升模型分辨率，可能需要更强大的计算资源支持，这增加了实际应用的成本。
   
   

3. 打印适配性：现阶段的输出模型仍需要额外的大量再处理、后处理。
   
   

虽然InstantMesh等一种工具用于数字资产3D打印实体化实践还不太行；

跳出实体制造的思维框架，这项技术在数字世界中可能性依旧很多：

• 游戏开发者能够瞬间将概念草图转化为生动的3D角色；

• 动画工作室的制作流程将被革新；

• 社交媒体将充满可交互的3D内容；

• 教育培训变得更加直观生动；

• 元宇宙的内容创作门槛将大幅降低；
  

在数字艺术领域，创作者们可以探索全新的艺术形式，打破维度的界限。

这不仅仅是技术的进步，更是创意表达的一场平权革命。

开源的力量：AM易道最后聊两句

令人兴奋的是，InstantMesh团队已经在GitHub（https://github.com/TencentARC/InstantMesh）开源了完整的代码和预训练模型，已经获得超过3500个星星！

任何对3D内容创作感兴趣的读者都能自由地探索和改进这项技术。项目包含了详尽的文档说明、模型权重和演示案例。演示案例链如下，读者可以自行尝试图片转三维模型：https://huggingface.co/spaces/TencentARC/InstantMesh