利用劳伦斯伯克利国家实验室（Berkeley Lab）国家能源研究科学计算中心（NERSC）的计算资源，阿贡国家实验室的研究人员成功探索了重要的材料科学问题，并展示了使用机器学习解决困难搜索问题的进展。
通过采用AlphaGo等棋盘游戏中的机器学习算法，研究人员为元素周期表中54个元素的纳米团簇开发了力场，这是对其独特性质的理解和搜索方法概念验证的一次重大飞跃。该团队于1月份在《自然通讯》上公布了研究结果。
取决于他们的规模鈥攂100纳米以上的ulk系统与100纳米以下的纳米团簇鈥攎材料可以显示截然不同的特性，包括光学和磁性、离散能级和增强的光致发光。这些性质可能有助于新的科学和工业应用，科学家可以通过开发力场来了解它们鈥攃估算分子中原子间和分子间势能的计算模型鈥攆或每种元素或化合物。但是材料科学家可以花费数年的时间使用传统的基于物理的方法来探索单一元素纳米团簇中原子之间的结构和作用力。
“我们想研究纳米级动力学，为此，通常我们会使用一些量子微积分和密度泛函理论，但这些计算非常昂贵，”材料科学家Sukriti Manna说，他是这篇论文的主要作者，也是寻找潜在模型参数的艰苦工作的主要作者。
应用机器学习是降低成本的一种潜在方法。然而，可用的算法来自离散的搜索空间，如博弈，其中搜索分支的数量和可能的结果是有限的。在类似于化学元素纳米团簇的力场的连续作用空间中，可能的搜索分支数是无限的，并且是蛮力鈥攖他能够运行每个场景以找到最佳结果鈥攕暗示不起作用。
工作更聪明，而不是更努力
为了使现有算法更加智能而不是更加困难，机器学习专家特洛伊·洛弗勒（TroyLoeffler）使用了一种称为蒙特卡罗树搜索（Monte Carlo tree search，MCTS）的强化学习。强化学习是一种机器学习形式，允许算法直接与其环境交互，通过惩罚和奖励进行学习，目标是随着时间的推移获得最大的累积奖励。MCTS使用“探索和利用”方法鈥攊首先随机搜索，然后学会忽略效率较低的搜索路径或播放结果，并专注于效率较高的搜索路径。Loeffler还引入了一些新函数来提高算法的效率：一个消除冗余搜索的唯一性函数，一个将树深度与动作空间关联的窗口缩放方案，以提供有用的结构，以及播放扩展，它教会算法对更接近已被证明有效的内容的随机搜索进行优先级排序。
Loeffler说：“我们所做的很多工作实际上是为连续动作空间开发算法，在这些空间中，你没有很好的、离散的棋盘游戏空间；你有可以在特定场景中移动到任何地方的参数。”。“核心思想是，你将完全随机性和一点确定性元素与人工智能结合起来，来解决这个问题。”
这种组合起到了作用，在很短的时间内就产生了54个元素的力场，只需找到一个元素的参数，证明了强化学习在连续动作空间中是一种有用的工具。
该团队使用NERSC的Cori超级计算机进行计算，并生成训练和装配数据集，主要使用用于原子尺度材料建模的维也纳从头算模拟软件包（VASP）和经典分子动力学代码LAMMPS。该项目只是阿贡理论和建模团队在NERSC的众多项目之一，他们经常利用NERSC的计算能力、最少的队列和可靠的维护。
Manna说：“对于碳、硼和磷等元素，我们需要大量的数据集，我们需要高质量的数据集。对于这项特殊的工作，由于结构的多样性，我使用NERSC生成了大量的大型数据集。Cori是一台速度非常快的计算机，当我使用它时，排队时间非常短，所以我们很快就完成了这项工作。”。此外，他说，“如果我们有100%的工作负荷，在计算时间上，我们90%的工作负荷依赖于NERSC。”
机器学习专家罗希特·巴特拉（RohitBatra）也表示赞同，他开发了一个机器学习框架，以分析元素周期表中潜在函数的错误趋势。“我是科里的超级粉丝鈥擨 他说：“将其用于多种用途。”保养得很好。有时，在其他集群中，可能会有一些问题导致它们离线很长一段时间，但我认为NERSC在这方面维护得很好，非常可靠。“”
MCTS的未来将更加广阔
既然已经演示了在连续搜索空间中使用MCT，接下来会发生什么？从材料科学的角度来看，探索更复杂的材料还有更多的工作要做。
Manna说：“从应用角度，力场发展角度来看，我们已经探索了元素物质和一些二元合金，因此在不久的将来，我们将研究氧化物和亚硫酸盐等组合，并开发这些力场。”。“由于强大的算法，我们只需要时间和其他训练数据集。”
但材料科学并不是这项工作所开启的MCT的唯一应用鈥攁下一阶段的第二部分涉及测试算法实用性的广度和边界。
Loeffler说：“我们正在采用MCT，并将其应用于许多不同的情况。”。“我们有10或11个不同的项目，我们或我们的合作者有兴趣使用该算法，”包括进一步的面向游戏的研究和额外的力场拟合。他补充道，到目前为止，这是一个取得成功的过程，其未来看起来很光明。“我们正在寻找很多东西来试穿。但到目前为止，我们试穿的所有东西都非常有效。”