人工智能(AI)科学家面临的挑战是创造出能够做出理性决策的智能、自主代理。在这个挑战中，他们面临两个问题:遵循什么样的决策理论，以及如何在人工智能系统中实现它。本文对这些问题进行了解答，并作出了三点贡献。第一个是讨论经济决策理论——期望效用理论(EUT)——如何帮助具有效用函数的AI系统处理工具目标问题、效用函数不稳定的可能性以及多行动者和人类智能体集体环境中的协调挑战。第二个贡献是，使用EUT将AI系统限制在狭窄的应用程序中，这是“小世界”，对AI对齐的担忧可能失去紧迫性，并被更好地标记为安全问题。本文的第三个贡献指出了经济学家在实施EUT时可以向人工智能科学家学习的几个领域。这些包括考虑程序合理性，克服计算困难，以及理解不平衡情况下的决策。