MIT新工具解决AI建模后的3D打印制造可行性

AI生成的3D模型

这只杯子，能装咖啡吗？

封死的杯口，倒不进一滴咖啡。研究团队把120个热门模型交给AI重建，94个带着两类以上这样的毛病。

让AI设计一个龙缠杯身、龙尾当把手的马克杯，它很快就能交出一个精致的3D模型。

可仔细一看，杯口被一块平板封死了。

照这个模型打印出来，连一滴咖啡也倒不进去。

这不是个例。

MIT计算机科学与人工智能实验室联合谷歌等机构专门研究了这个问题，论文将发表在11月的人机交互顶会UIST上。

他们开发的工具叫InstructMesh，思路很简单。

AI生成的模型先别急着打印，让普通人用鼠标涂一笔、说一句话，把它修到能打印为止。

龙纹杯从生成到打印的全过程。从左到右依次是输入提示词、AI生成、涂出封死的杯口并要求去掉、修好的模型、打印出的实物。

图源：InstructMesh论文

第一问：AI为什么会做出看着像、却用不了的东西

原因出在AI的学习方式上。

目前主流的3D生成模型，训练时主要看渲染出来的图片像不像，只要各个角度看起来对，就算合格。

至于杯口有没有开、杯壁够不够厚、两个零件有没有连上，从图片上很难看出来，模型自然也就不在意。

研究团队先做了一次摸底。

他们从3D打印模型分享网站Thingiverse挑出最热门的120个模型，各渲染一张图片，交给微软开源的3D生成模型TRELLIS重建，再请两位建模专家把重建结果和原模型逐一对照。

结果，120个模型中有94个同时存在两类以上的毛病，平均每个模型有2.4处。最常见的三类毛病是：

多出不该有的凸起和碎块，占65.8%；该开的孔没有开，占48.6%；该实心的地方做成了空心，或者反过来，占36.9%。

摸底找到的九类毛病，每列一类。上排是AI重建的模型，下排彩色部分是专家标出的出错位置。

图源：InstructMesh论文

要修这些毛病，专业人士会打开Blender这类建模软件，一个面一个面地改，外行根本无从下手。

重写提示词让AI再生成一遍，又常常是这里修好了，那里又变了样。

第二问：不改成品，改毛坯

InstructMesh最关键的一步是选对了下手的地方。

TRELLIS这类模型生成3D模型分两步走。

第一步先搭出一个粗糙的毛坯，它由64×64×64的小方块网格组成，就像用乐高拼出的大致轮廓。

第二步再由解码器在毛坯的基础上补出光滑的表面、纹理和细节。

InstructMesh只改第一步的毛坯。

添几个方块，或者挖掉几个方块，再把改好的毛坯交回解码器，由AI重新生成细节。

好比雕塑家不去打磨抛光好的铜像，而是回到泥坯上捏几下，再重新翻模。方块之间没有复杂的连接关系，增减都不容易出错；

鳞片和花纹交给AI重新补齐，修过的地方也不会显得突兀。

系统流程。提示词先变成方块毛坯，再解码成杯子。发现杯口封死后，系统在毛坯上挖掉对应的方块，重新解码，得到能装水的杯子。

图源：InstructMesh论文

研究者把常见的修补操作归纳为六个基本动作：

往外加料的有拉伸、加厚、填充，往里减料的有修剪、掏空、压平。

他们还为这些动作调好了十二套参数预设，用来应对不同的毛病。

六个基本动作的效果，左边三个加料，右边三个减料，粉色是用户选中的区域。

图源：InstructMesh论文

第三问：外行怎么下指令

界面上的操作很简单，先用画笔涂出有问题的部位，再用一句话说明要怎么改；

也可以不打字，直接拉滑块选择动作、调节幅度。

操作流程如下。

涂一笔、说一句、看预览、重生成

1. 先用画笔涂出封死的杯口

   不用懂建模，涂到大致位置就行。零碎的误涂，系统会自动忽略。

2. 再说一句：去掉这个盖子

   往外加料：拉伸、加厚、填充；往里减料：修剪、掏空、压平。

   GPT-4只做选择题，从六个动作里挑一个、配好参数。测试中它选对了92.1%。

3. 改动先标红，给你过目

   要挖掉的方块标红，要加的标绿。毛坯藏在后台，预览让人看得见改了什么。

4. 毛坯交回AI，细节重新长出来

   杯口打开，能装咖啡了。一次局部修改加重新生成，平均43.7秒。

用文字下指令时，背后由GPT-4负责理解。

但它并不直接改动几何形状，只做一道选择题，从六个动作里挑出一个，再配好参数。

至于改哪里，由用户涂抹的区域决定。

还有一个难题，毛坯藏在后台，用户看不到改动效果。

所以系统在正式生成前先给出预览，要加的部分标绿，要挖的部分标红，满意了再点确认。

预览效果。上排输入开个洞，杯口被标红后挖开；下排输入把这两部分连起来，绿色区域长出一截新把手。

图源：InstructMesh论文

InstructMesh的网页界面，从左到右是一次完整的修改流程。

图源：InstructMesh论文

第四问：外行能不能修好模型吗

团队先自己用这套工具修复测试集里的毛病，再请独立评审逐个判定。

各类毛病的修复成功率在83%到96%之间，其中开孔类最容易修好。

团队自测的修复成功率，开孔类和壁厚类最高，部件粘连重复类最低。

图源：InstructMesh论文

真正的考验在外行身上。研究者招募了12名非技术专业的学生，他们都没有接触过3D建模或CAD软件。

每人要处理5个有毛病的模型，每个模型限时10分钟。

实验用的五个模型。上排是原始模型，中排是AI重建版，下排粉色是需要修复的位置。

图源：InstructMesh论文

结果，学生们找出了90.4%的毛病。经独立专家复核，156处毛病中有140处修好了，成功率89.7%。

更有意思的是，学生对自己有没有修好的判断，和专家的结论高度一致，只有7.1%的情况对不上。

外行实测

12个从没学过建模的学生，每个模型限时10分钟。

每格一处毛病，共156处；粉色是修好的140处。

• 89.7%：毛病修好了
• 90.4%：毛病被找出
• 7.1%：自评与专家不符

修一处毛病通常只要两三分钟。网格上的细小裂缝最难发现，被截断的部件最费时间。

学生找毛病的表现。网格上的裂缝、破洞这类拓扑错误最难发现。

图源：InstructMesh论文

修复用时。一处毛病通常两三分钟修完，补全被截断的部件最费时。

图源：InstructMesh论文

学生修复各类毛病的成功率。从图上估读在75%到100%之间，论文图注称都超过80%，略有出入。

图源：InstructMesh论文

第五问：打字还是拉滑块交互？

第二轮实验招募了12名新参与者，专门比较两种操作方式。

用文字描述更省力，适合大改；

拉滑块更精确，适合补缝、开孔这类细活。

最终6人更喜欢用文字，6人更喜欢滑块，而12人全都希望两种方式都保留。

一位参与者说，它让原本看不见的操作变得看得见了。

两种方式的打分对比，绿色越多越认可。右下角一组是对预览功能的评价。

图源：InstructMesh论文

第六问：3D打印出来的实物

团队用Stratasys J55全彩3D打印机打印了一批实物。

贝壳造型的哨子原本没有共鸣腔，加上气道后能吹出清脆的声音；

牛仔布纹理的护膝原本没有绑带孔，开孔后能绑在腿上；

蝴蝶眼镜原本镜片是实心的、镜腿是断开的，修好后能正常佩戴。

最有意思的是一个虾形外壳，里面装的是一种靠电机振动、用细腿爬行的刷毛机器人。

原模型前后的腿互相抵消了前进的力，肚子里也没有放电机的空间。

修短挡路的腿、挖出电机舱后，它就能朝一个方向爬了。

还有一个章鱼分酒器，原本头和腿都是实心的。

在头顶开口、打通每条腿里的通道后，从头顶倒酒，酒就能同时流进几个杯子。

左边上下是龙纹杯和贝壳哨，中间是护膝和蝴蝶眼镜，右上是虾形刷毛机器人，右下是章鱼分酒器。

图源：InstructMesh论文

第七问：还做不到的事

第一，精度有限。毛坯只有64×64×64格，一格约占物体尺寸的1.5%。

以10厘米高的杯子为例，一格约1.5毫米，比这更细小的缺陷修不了。

还做不到的事

毛坯只有64格见方。10厘米，一格约1.5毫米，比一格还细的缺陷修不了，精度被毛坯卡住。

肉眼看不出的毛病：内部壁厚、装配公差，要靠人先发现。

会动的结构：铰链、卡扣，目前还不支持。

第二，毛病得靠人先发现。

肉眼能看出的问题，外行能找到九成；

但内部壁厚不足、装配公差不对这类问题，往往要到切片时甚至打印失败后才会暴露。

第三，铰链、卡扣这类需要活动的结构，目前还修不了。

最后：回到那只龙纹杯

MIT的InstructMesh做的事，让用户看一眼、说一句话，一分钟内就能在毛坯上把AI生产的模型变得更加合理从而制造出来更有实用价值。

这个工具从AI生成到打印之间，多了一道可打印性修复的工序。

生成模型会越来越逼真，但杯口被封死这类物理世界的理解问题还大量存在。

解决这类问题的核心价值可以让AI设计和真实可制造的通道进一步打通。

我们也将持续关注这类工具。