自动搜索全新的好奇心算法

在与生俱来的好奇心的驱使下，孩子们在探索世界并从经验中学到新的技能。相比之下，计算机在投入新环境时通常会卡住。为了解决这个问题，工程师们尝试将好奇心的简单形式编码到他们的算法中，希望被推动探索的代理能够更有效地了解其环境。具有孩子好奇心的特工可能会从学习，捡起，操纵和扔东西到理解重力的作用，这种认识可以极大地加快其学习许多其他事物的能力。

工程师发现了许多将好奇的探索编码到机器学习算法中的方法。麻省理工学院的一个研究小组基于计算机长期寻找新算法的悠久历史，想知道一台计算机能否做得更好。

近年来，深度神经网络的设计(通过调整数值参数来搜索解决方案的算法)已通过Google的AutoML和Python中的auto-sklearn等软件实现了自动化。这使非专家更容易开发AI应用程序。但是，尽管深网擅长于特定任务，但它们难以推广到新情况。相比之下，用高级编程语言在代码中表达的算法具有跨不同任务和环境传递知识的能力。

研究的共同作者，麻省理工学院电气工程与计算机科学系以及计算机科学与人工智能实验室(CSAIL)的研究生FerranAlet说：“人类设计的算法非常笼统。”“我们受到启发，使用AI来找到具有好奇心策略的算法，这些算法可以适应各种环境。”

研究人员创建了一种“元学习”算法，该算法生成了52,000个探索算法。他们发现前两个是全新的，似乎对于人类提出来的而言太明显或违反直觉。从基于图像的二维网格导航到机器人蚂蚁行走，这两种算法都产生了探索行为，极大地改善了一系列模拟任务中的学习。由于元学习过程会生成高级计算机代码作为输出，因此可以剖析这两种算法，以在其决策过程中进行对等。