北卡罗来纳州立大学的研究人员开发了一种新的联合学习方法，使他们能够更快、更准确地开发精确的人工智能（AI）模型。这项工作重点关注联邦学习中的一个长期问题，当用于训练人工智能的各种数据集中存在显著的异构性时，就会出现这个问题。
联合学习是一种人工智能训练技术，允许人工智能系统通过利用多组数据来提高其性能，而不损害数据的隐私。例如，可以使用联合学习来利用来自多家医院的特权患者数据，以改进诊断人工智能工具，而不需要医院访问彼此患者的数据。
联合学习是一种涉及多个设备（称为客户端）的机器学习形式。客户机和集中式服务器都从一个用于解决特定问题的基本模型开始。从这一点开始，每个客户机然后使用自己的数据训练其本地模型，修改模型以提高其性能。然后，客户端将这些“更新”发送到集中式服务器。集中式服务器利用这些更新来创建一个混合模型，目的是使混合模型的性能优于任何一个客户端。然后，中央服务器将此混合模型发送回每个客户端。重复该过程，直到系统性能得到优化或达到商定的精度水平。
“然而，有时客户个人数据的性质会导致本地模型发生变化，这种变化仅适用于客户自己的数据，但在应用于其他数据集时效果不佳，”一篇关于这项新技术的论文的通讯作者、北卡罗来纳州立大学电气和计算机工程助理教授周（Chau Wai Wong）表示。“换句话说，如果客户端的数据具有足够的异构性，有时客户端修改其局部模型的方式实际上会损害混合模型的性能。”
“我们的新方法使我们能够比以前的技术更有效地解决异构性问题，同时仍然保留隐私，”论文第一作者、北卡罗来纳州博士生Kai Yue说。“此外，如果客户端数据中存在足够的异构性，那么使用传统的联合学习方法开发准确的模型实际上是不可能的。但我们的新方法允许我们开发准确的模型，无论数据的异构程度如何。”
在新方法中，客户端发送到中央服务器的更新以一种保留数据隐私的方式重新格式化，但为中央服务器提供了有关与模型性能相关的数据特征的更多信息。具体来说，客户端以雅可比矩阵的形式向服务器发送信息。然后，中央服务器将这些矩阵插入生成改进模型的算法中。然后，中央服务器将新模型分发给客户端。然后重复该过程，每次迭代都会导致模型更新，从而提高系统性能。
“中心思想之一是避免在每个客户机上迭代训练本地模型，而是让服务器直接根据客户机的雅可比矩阵生成改进的混合模型，”本文合著者、前北卡罗来纳州研究生Ryan Pilgrim说。“在这样做的过程中，该算法不仅避开了多轮通信，而且还防止了不同的局部更新降低模型的性能。”
研究人员针对用于评估联邦学习性能的行业标准数据集测试了他们的新方法，发现新技术能够达到或超过联邦平均的准确性鈥攚hich是联合学习的基准。此外，新方法能够与该标准相匹配，同时将服务器和客户端之间的通信轮数减少了一个数量级。
“例如，在其中一个测试数据集中，平均需要284轮通信才能达到85%的准确性，”岳说。“我们在26轮中达到了85%的准确率。”
“这是一种新的联合学习的替代方法，使这种探索性的工作，”王说。“我们正在有效地调整分析工具的用途，以解决实际问题。我们期待着从私营部门和更广泛的联合学习研究社区获得有关其潜力的反馈。”
这篇论文“神经切线核授权联合学习”将在7月17日至23日于马里兰州巴尔的摩举行的第39届国际机器学习会议（ICML）上发表。