在人工智能领域，大模型挑战电脑游戏的新篇章已经开启。淘天集团未来生活实验室的算法工程师们，利用多模态大模型深入探索了国产电脑游戏《黑神话：悟空》，并取得显著成果。这一研究不仅测试了大模型在特定场景下的性能，还揭示了其在动作角色扮演类游戏中的潜力。
动作角色扮演类游戏因其复杂性，成为了研究者们测试大模型性能的理想平台。在这类游戏中，大模型需要仅通过视觉输入进行决策，并生成复杂而连续的动作。然而，这一任务并非易事，大模型面临着直接视觉输入和动作任务两大挑战。
为应对这些挑战，技术团队提出了名为VARP Agent的新框架。该框架以游戏截图为输入，通过多模态大模型的推理，生成可直接操作游戏角色的代码。这些代码由各种原子命令组合而成，包括轻攻击、躲避等。
VARP Agent框架还包含三个库：情境库、动作库和人类引导库，用于存储和更新密集知识。在研究中，技术团队定义了多项任务，其中大部分发生在战斗场景中。结果显示，该框架在基本任务和简单到中等难度的战斗中表现出色，胜率高达90%。
尽管在面对高难度任务时，VARP Agent的表现相对较差，其整体水平仍不及高水平人类玩家，但这一研究成果为设计更复杂、更智能的智能体提供了宝贵参考。
