Snapfeet是一款新的手机应用程序，它根据用户脚的3D形状显示鞋子的贴合度。它还提供了一个简单的增强现实（AR）可视化，显示鞋子在脚上的样子。
该应用程序技术专为在线鞋类零售商设计，旨在向其客户提供不同款式的鞋子的精确贴合，并有机会了解鞋子在购物者脚上的外观。这将减少退回的鞋子数量。无论是金钱还是环境，回报都会带来巨大的成本。由于退货率高，许多鞋类零售商的在线销售收入微乎其微，因此这款应用程序的目的就是改变这种状况。
Roberto Cipolla教授和他的团队机器智能小组的James Charles博士和博士生Ollie Boyne与Giorgio Raccanelli和Snapfeet团队合作开发了该应用程序。
借助增强现实技术（AR），Snapfeet应用程序允许客户通过手机虚拟穿鞋，并在几分钟内找到自己的完美鞋型。
Snapfeet实时创建用户脚的精确三维副本。只需从不同角度拍摄几张手机照片，几秒钟内就可以制作出双脚的3D模型。
通过使用用户的脚形状并将其与鞋的几何结构进行比较，Snapfeet可以为每种类型的鞋推荐正确的尺寸，并向用户传达脚的不同部位（脚趾、脚背、脚跟和鞋底）可以达到的舒适度。
乔治·拉卡内利说，“您可以下载SnapFoots应用程序，注册，在脚的周围拍摄几张照片，然后会出现脚的3D模型，让您可以立即开始购物。该应用程序会自动将脚的三维图像与所选的鞋款进行比较，向您显示其适合程度，或者直接建议最适合您脚型的款式。”
Snapfeet的第一大客户是Hugo Boss和Golden Goose。
Snapfeet的母公司Trya于2011年通过剑桥企业（Cambridge Enterprise）从Cipolla教授的团队获得新型摄影测量软件的许可。
原始的摄影测量技术使用带有校准模式的照片。拍摄完这些照片后，它们被上传到服务器，剑桥大学开发的多视点立体算法发现了多个点对应，并生成了一个3D模型，解释了所有不同的视点，并在世界空间中定位了相机。这是2011年最先进的重建精度。
自2019年以来，Cipolla教授的团队一直在与SnapFoots合作，将原始的摄影测量技术发展为一款手机应用程序，该应用程序可以实时重建手机上的三维脚部形状，无需任何校准模式，并在AR中正确调整鞋的尺寸和可视化。
原始的摄影测量软件非常精确，精确到1mm，但速度慢，难以处理。准确性是存在的，但可用性不是。它也没有利用它试图重建的物体的任何知识。
该团队研究了如何使其更快、更人性化，这个想法是为了在移动电话上完成这一切，而无需校准模式，也无需在服务器上进行处理。他们能够利用机器学习和现代手机上强大处理器的令人兴奋的新发展。
“我们能够利用机器学习的新发展（深度学习）用于识别3D对象，以及现代手机上的先进传感器和强大处理器，以便在手机上实时运行重建算法。总之，我们可以将参数化的脚模型和新的深度学习算法结合起来，用于识别曲线和曲面，从而使我们能够在设备上实时运行3D重建算法，”Cipolla教授说。
他们使用了一个参数化的脚部模型，该模型是使用原始的摄影测量技术从大量的脚部3D扫描中学习到的。应用程序构建的三维脚部模型可以在任何图形引擎中渲染，以可视化其外观。可以改变脚的形状，并使用通过机器学习学习的10个不同参数进行控制。我们的目标是找出这些参数中的哪一个能够生成最匹配用户的3D脚。“主”脚模型称为“先验”，是关于脚的外观的先验知识的缩写。应用程序用户仍然在脚周围拍摄多幅图像，但应用程序使用机器学习预测控制脚形状的更高级别特征，而不是构建点云（如在摄影测量中）。这样做的好处是，应用程序用户需要拍摄较少的照片，返回的脚模型具有较少的瑕疵，如果扫描过程中出现错误，该过程会更加稳健。由于应用程序的实时深度学习元素，该模型的制作速度也更快。
该团队刚刚发布了该应用程序的新版本，它可以在移动设备上做任何事情。不再需要服务器。
谈到这个应用程序，詹姆斯·查尔斯说：“我一直很难买到正确尺寸的鞋子。我不喜欢商店里的试穿过程，网上订购大量鞋子对环境的影响是我非常担心的问题。然而，在这个应用程序之前，真的没有其他选择。因此，我非常有动力解决这个问题，认为我们已经有了很好的解决方案。”
最初，当用户打开应用程序时，有一个校准阶段，用户开始使用手机上最新的AR功能跟踪摄像头。在iOS手机上是AR Kit，在Android手机上是AR Core，它们使用与室内设计应用程序相同的例程来绘制房间地图，并以图形形式表示物理空间。
在校准阶段，正在跟踪手机摄像头。该应用程序基于AR技术来跟踪摄像头并计算其移动距离，它还可以检测脚和地板，从而更好地了解世界空间。该应用程序知道手机的位置，精确度在2毫米以内，并且在加载应用程序的几秒钟内即可完成。
当手机在脚上的某些关键兴趣点周围移动时，会检测到这些关键点，以帮助确定脚的长度和宽度，然后根据这些测量值创建3D网格，然后将模型覆盖在AR中的用户脚上，以便用户可以直观地验证其是否正确。
这是另一个关键步骤，与竞争不同。市场上有一些应用程序也可以以这种方式验证模型重建，但它们不允许您主动调整模型。Snapfeet允许您实时调整模型，然后立即在手机上获取您的脚的3D模型，而无需服务器。
目前有三种机器学习脚部算法。一是建立足的参数化模型；第二种是机器学习，它可以在移动手机时从多视图图像中恢复模型的参数。最后，应用程序中还有第三种机器学习算法，它将3D脚模型与客户感兴趣的所有鞋子形状或“鞋楦”进行比较，然后返回最适合用户脚的鞋子尺寸。这是虚拟试穿。
当制造商制造鞋子时，他们会制造鞋楦，鞋楦是鞋子内部的实体模型。他们围绕鞋楦设计鞋款。鞋楦和用于制作鞋子的材料决定了一个人将脚放进鞋子时的尺寸和舒适度。
该算法将采用脚模型，并将其数字化放置在您感兴趣的所有鞋子中，并给您一个舒适度评分。然后，您可以使用AR将虚拟鞋渲染到脚上。该应用程序还可以检测腿部/裤子的位置，以便获得正确的遮挡效果，使用机器学习捕获脚的跟踪。
一旦你恢复了脚的形状，该应用程序还会使用AR，这样用户就可以在试穿鞋子时获得应有的感觉。然后，应用程序的AR元素允许用户查看鞋子在脚上的样子，以及它们是否适合特定的装备。
Snapfeet慷慨资助了一个博士生项目，使OllieBoyne能够扩展从照片建模脚的研究。该应用现在已在app Store上上线，许多鞋商正在使用和测试该应用，以帮助减少在线销售的回报。下载该应用程序，然后自己动手尝试。