大约十年前，深度学习模型开始在各种任务上取得超人的结果，从击败世界冠军棋类游戏玩家到在诊断乳腺癌方面胜过医生。
这些强大的深度学习模型通常基于人工神经网络，人工神经网络最早于20世纪40年代提出，现已成为一种流行的机器学习类型。计算机通过模仿人脑的互连节点或神经元层来学习处理数据。
随着机器学习领域的发展，人工神经网络也随之发展。
深度学习模型现在通常由多层中的数百万或数十亿个互连节点组成，这些节点经过训练，可以使用大量数据执行检测或分类任务。但是由于这些模型非常复杂，即使是设计它们的研究人员也不能完全理解它们是如何工作的。这使得很难知道它们是否工作正常。
例如，一个旨在帮助医生正确诊断患者的模型可以预测皮肤病变是癌性的，但它是通过关注照片中有癌组织时经常出现的不相关标记来实现的，而不是关注癌组织本身。这被称为虚假相关性。该模型得到了正确的预测，但它这样做的原因是错误的。在真实的临床环境中，该标记不会出现在癌症阳性图像上，这可能会导致漏诊。
在这些所谓的“黑匣子”模型周围有如此多的不确定性，人们怎么能解开盒子里发生了什么？
这一难题导致了一个新的快速增长的研究领域，研究人员开发和测试解释方法（也称为可解释性方法），试图阐明黑箱机器学习模型如何进行预测。
什么是解释方法？
在最基本的层面上，解释方法要么是全局的，要么是局部的。局部解释方法侧重于解释模型如何作出一个特定预测，而全局解释则寻求描述整个模型的整体行为。这通常是通过开发一个单独的、更简单（希望可以理解）的模型来实现的，该模型模仿更大的黑盒模型。
但由于深度学习模型以基本复杂和非线性的方式工作，因此开发有效的全局解释模型尤其具有挑战性。计算机科学与人工智能实验室（CSAIL）交互式机器人小组的研究生周一伦（音译）解释说，这导致研究人员最近将大部分注意力转向了局部解释方法，他研究可解释机器学习中的模型、算法和评估。
最流行的局部解释方法分为三大类。
第一种也是使用最广泛的解释方法称为特征归因。特征归因方法表明，当模型做出特定决策时，哪些特征最重要。
特征是输入变量，输入到机器学习模型并用于预测。当数据为表格时，从数据集中的列中提取特征（使用各种技术对其进行转换，以便模型可以处理原始数据）。另一方面，对于图像处理任务，图像中的每个像素都是特征。例如，如果模型预测X射线图像显示癌症，则特征归因方法将突出显示特定X射线中对模型预测最重要的像素。
本质上，特征属性方法显示了模型在进行预测时最关注的内容。
“使用这个特征属性解释，你可以检查是否存在虚假相关性。例如，它将显示水印中的像素是否高亮显示，或者实际肿瘤中的像素是否高亮显示，”周说。
第二种解释方法称为反事实解释。给定一个输入和一个模型的预测，这些方法展示了如何更改该输入，使其属于另一类。例如，如果机器学习模型预测借款人将被拒绝贷款，则反事实解释表明需要改变哪些因素才能接受她的贷款申请。也许她的信用分数或收入（模型预测中使用的两个特征）需要更高才能获得批准。
他说：“这种解释方法的好处是，它可以准确地告诉你需要如何改变输入以翻转决策，这可能有实际用途。对于申请抵押贷款但没有得到的人，这种解释将告诉他们需要做什么才能实现预期结果。”。
第三类解释方法称为样本重要性解释。与其他方法不同，该方法需要访问用于训练模型的数据。
样本重要性解释将显示模型在进行特定预测时最依赖的训练样本；理想情况下，这是与输入数据最相似的样本。如果观察到一个看似不合理的预测，这种解释尤其有用。可能存在影响用于训练模型的特定样本的数据输入错误。有了这些知识，人们可以修正样本并重新训练模型以提高其准确性。
如何使用解释方法？
开发这些解释的一个动机是执行质量保证和调试模型。例如，随着对特性如何影响模型决策的更多理解，人们可以识别出模型工作不正确，并进行干预以修复问题，或者丢弃模型并重新开始。
另一个最近的研究领域是探索使用机器学习模型来发现人类以前没有发现的科学模式。周说，例如，一个优于临床医生的癌症诊断模型可能有缺陷，或者它实际上可能是在X射线图像中发现了一些隐藏的模式，这些模式代表了癌症的早期病理途径，这些模式要么是人类医生所不知道的，要么是被认为不相关的。
然而，这一领域的研究仍处于早期阶段。
警告语
CSAIL的助理教授兼健康ML小组负责人Marzyeh Ghassemi说，虽然解释方法有时对机器学习实践者在试图捕捉模型中的错误或了解系统内部工作原理时有用，但最终用户在尝试在实践中使用时应谨慎行事。
随着机器学习被更多学科所采用，从医疗保健到教育，解释方法被用来帮助决策者更好地理解模型的预测，以便他们知道何时信任模型并在实践中使用其指导。但加塞米警告不要以这种方式使用这些方法。
她说：“我们发现，解释会让人们，无论是专家还是非专家，对特定推荐系统的能力或建议过于自信。我认为，对于人类来说，不要关闭内部电路，问‘让我质疑别人给我的建议’，这一点非常重要。”。
她引用微软研究人员最近的一些研究补充说，科学家们知道，基于其他最近的研究，解释会让人过于自信。
解释方法远不是万能的，它们也有各自的问题。首先，加塞米最近的研究表明，解释方法可能会使偏见永久化，并导致弱势群体的结果更糟。
解释方法的另一个陷阱是，首先往往无法判断解释方法是否正确。人们需要将解释与实际模型进行比较，但由于用户不知道模型是如何工作的，这是循环逻辑，周说。
他和其他研究人员正在努力改进解释方法，以便更忠实于实际模型的预测，但周提醒说，即使是最好的解释也应该持保留态度。
“此外，人们通常认为这些模型是类似人类的决策者，我们容易过度概括。我们需要让人们冷静下来，阻止他们，以真正确保他们根据这些局部解释构建的广义模型理解是平衡的，”他补充道。
周最近的研究正是为了实现这一点。
机器学习解释方法的下一步是什么？
Ghassemi认为，研究界需要做更多的努力来研究如何将信息呈现给决策者，以便他们理解信息，而不是专注于提供解释，并且需要制定更多的法规，以确保机器学习模型在实践中得到负责任的使用。只有更好的解释方法并不是答案。
她说：“我很兴奋地看到，即使在行业中，人们也越来越认识到，我们不能仅仅利用这些信息，制作一个漂亮的仪表盘，并假设人们会在这方面表现得更好。你需要在行动上有可衡量的改进，我希望这能为改善我们在这些技术性很强的领域（如医学）显示信息的方式提供真正的指导。”说。
除了专注于改进解释的新工作外，周希望看到更多与特定用例的解释方法相关的研究，例如模型调试、科学发现、公平性审计和安全保证。通过识别解释方法的细粒度特征和不同用例的需求，研究人员可以建立一种理论，将解释与特定场景相匹配，这有助于克服在真实场景中使用解释时出现的一些陷阱。
本故事由麻省理工学院新闻网（web.MIT.edu/newoffice/）转载，该网站是一个热门网站，涵盖麻省理工学院研究、创新和教学方面的新闻。