在科技界，传奇游戏开发者John Carmack的最新动向再次吸引了广泛关注。作为Id Software的联合创始人，Carmack因《毁灭战士》和《雷神之锤》系列而声名鹊起，这些作品不仅推动了游戏行业的发展，还间接促进了GPU技术的普及和人工智能领域的进步。然而，Carmack的职业生涯并未止步于此，他在多个领域继续探索，包括垂直起降火箭技术、虚拟现实，以及最近的强化学习研究。
在离开meta后，Carmack选择加入Keen Technologies，与强化学习之父Richard Sutton合作，专注于强化学习领域的研究。这一转变对Carmack来说是一次重大的职业调整，但他表示非常享受这个过程，尤其是在与Sutton的合作中，尽管在某些观点上存在分歧，但两人都致力于推动强化学习的发展。
Carmack的研究团队目前由六名来自学术界和工业界的研究人员组成，他们正在探索强化学习在游戏和虚拟环境中的应用。Carmack特别强调了交互式体验流的重要性，这与预训练大型语言模型（LLM）的“大杂烩”方法形成鲜明对比。他认为，尽管LLM在多个领域取得了显著成就，但其在未知环境中的表现仍值得怀疑。
Carmack的团队目前专注于Atari游戏的研究，旨在解决连续、高效、终身、单一环境、多任务在线学习等挑战。他指出，尽管Atari游戏看似简单，但其中仍有许多未解决的问题，这些问题对于推动强化学习的发展具有重要意义。Carmack强调，商业游戏的多样性为研究人员提供了宝贵的测试环境，避免了研究偏见的影响。
Carmack还探讨了强化学习在实际应用中的挑战，如延迟、速度以及现实世界的非回合制特性。他提出了一种反转强化学习软件环境的设计，使智能体能够主动发起交互，而不是被动等待环境的调用。这种设计不仅适用于虚拟模拟，也适用于物理环境。
Carmack还分享了他对迁移学习的看法，认为智能体在学习新任务时应该能够更有效地利用之前学到的知识。他提出了一个新的基准测试概念，即循环通过一组游戏，并根据最后一个循环中的所有得分进行评判，以此鼓励智能体在保持原始学习速度的同时，避免遗忘并利用迁移学习。
在技术实现方面，Carmack强调了底层实现的可能性，但同时也承认更高层次的工具在快速实验方面的优势。他提到，自己在研究过程中使用了CUDA图、CUDA流和显式同步等技术来优化训练过程与环境交互的效率。
最后，Carmack提到了他们团队正在进行的一个有趣项目：使用物理Atari游戏机和实时运行强化学习智能体的笔记本电脑进行交互学习。这个项目旨在降低系统延迟，并挑战那些认为完全具身的通用人工智能即将实现的人。Carmack表示，他们将开源这项工作，以促进整个社区的发展。
Carmack的职业生涯充满了创新和突破，他在强化学习领域的最新探索无疑将继续推动这一技术的发展。随着研究的深入，我们期待看到更多来自Carmack团队的突破性成果。
