从AI代理到AIoT代理，揭秘人工智能与物联网融合的AIoT 2.0大未来

作者：彭昭（智次方创始人、云和资本联合创始合伙人）

这是我的第358篇专栏文章。

2025年伊始，科技大咖们的判断出奇一致，黄仁勋、奥特曼、扎克伯格…都认为2025是AI智能代理之年。

• 生成式AI→现在时

• 代理型AI→马上到来

• 实体型AI→不远将来

这是英伟达CEO黄仁勋在消费电子展CES 2025上的最新判断。

他在主题演讲中梳理了AI技术的进化路径，从感知型AI，到生成式AI，再到现阶段发展火热的代理型AI，最终实现具备传感与执行功能的物理型AI。

而伴随着AI代理的涌现，有一类基于设备的人工智能可能会优先发生，就是AIoT代理。这些代理并不像物理型AI那样基于自动驾驶的汽车或者人形机器人等“大件”，而是基于小型的端侧设备，实现AI代理的功能。

我们都知道，AIoT是人工智能AI和物联网IoT的融合，它通过实现智能数据分析、决策和自主行动，正在彻底改变行业。

AIoT代理，即AI代理与物联网IoT设备的融合，处于这一转型的最前沿。这些AIoT智能代理旨在增强物联网系统的功能、连接性和自主性，从而为各个领域带来前所未有的机遇和应用。

在AIoT 2.0时代，发展的核心将是AIoT代理，即能够感知环境、推理并采取行动实现特定目标的智能软硬件实体。这些代理不仅仅是被动传感器；它们是主动的，能够从数据和经验中学习，不断提高性能。

其实AIoT代理并不是异想天开，在2024年第一季度，李飞飞团队已经联合微软发表了一系列论文，探讨了与物理世界相结合的AI代理的趋势、分类、如何构建通用基础模型，以及存在的挑战。

这些论文包括：《Agent AI- Surveying the Horizons of Multimodal Interaction》《Position Paper- Agent AI Towards a Holistic Intelligence》《An Interactive Agent Foundation Model》。

本文综合上述论文的成果，并做以延展，介绍什么是AIoT代理、AIoT代理的形态以及可能的应用场景。

什么是AIoT代理

AIoT代理是AI代理和IoT的融合，是指将AI功能与IoT设备集成的自主软件实体。这些代理可实现智能决策、数据分析以及设备、人类和物理环境之间的实时交互。

AIoT代理代表了AI代理（具有自主决策能力的AI系统）与物联网（设备收集和传输数据）的融合。与依赖基于云的分析的传统物联网系统不同，AIoT代理具有情境感知、主动性，并且能够随着时间的推移进行学习。

在论文《Agent AI- Surveying the Horizons of Multimodal Interaction》中，研究团队从“空间智能”的视角，讨论了Agent在物理和虚拟环境中的交互性。

论文中的图片，展示了多模态跨现实感知AI代理的架构，概括了AI代理与环境交互、学习和决策的关键组成部分。具体来说，该架构包括以下几个核心模块：

• 环境与感知：通过感知模块，智能体接收来自物理世界或虚拟世界的信息输入，获取对环境的观测。

• 智能体学习：该模块负责智能体的学习过程，包括从环境交互中学习（如强化学习）、从专家示范中学习（如模仿学习）等。

• 记忆：记忆模块为Agent提供长期记忆和短期记忆能力。长期记忆储存Agent对世界的知识和理解，而短期记忆则跟踪Agent在执行任务过程中的状态变化历史，以支持及时地调整策略。

• 行动：根据感知、学习、记忆等模块的信息，Agent通过行动模块采取相应动作，并影响外部环境。

• 认知：认知模块是统筹协调感知、学习、记忆、行动等功能的核心，体现了Agent的整体认知能力，使其在复杂多变的环境中做出恰当反应。

总的来说，该架构突出了感知、学习、记忆、行动、认知等要素在塑造Agent整体智能方面的重要作用，以及Agent与物理和虚拟环境持续交互、积累经验和知识的动态过程。

而AIoT代理则融合了语言理解、视觉感知、运动控制、任务规划等多种能力，代表了通用人工智能AGI发展的一个重要方向。近年来，大型语言模型LLM、视觉语言预训练模型VLM等大模型的突破，为赋予AIoT代理更强大的感知认知和环境交互能力带来了新的机遇。

一方面，大语言模型可以让AIoT代理获得接近人类的语言理解和语言生成能力，使其可以更自然地与使用者对话交流，快速理解指令并做出相应行动。

另一方面，视觉语言模型使AIoT代理具备匹配甚至超越人眼的图像识别能力，可以精准感知和定位环境中的物体，并对视觉输入信息进行语义理解。

借鉴论文中的架构，AIoT智能的基本架构可以简化为上图，简化后的架构包含以下组成部分：

• 感知：Agent通过感知模块接收外界环境的信息输入，获取对世界的观测。这是Agent实现感知环境、采集数据的基础。

• 推理：推理模块是Agent的核心部件，它在感知信息的基础上，利用知识库中的世界知识，对当前环境状态进行分析、判断，并规划后续行动。推理过程体现了Agent的智能性和自主性。

• 行动：根据推理的结果，Agent通过行动模块采取相应的动作，并影响外部环境，这是Agent实现目标的关键。

• 交互：Agent通过与环境的持续交互来感知外界变化、积累知识、并评估行动效果。交互是Agent实现感知-决策-行动闭环的纽带。

• 世界知识库：这是Agent的知识库，存储了其对世界的理解和记忆。Agent在推理决策时会调用这些知识。随着与环境交互的不断深入，其知识库也在持续扩充和更新。

• 学习：学习模块使得Agent能够在与环境的交互中，不断积累新知识、优化已有策略。通过学习，Agent的世界知识库得以扩充，行为策略得以改进，智能水平得以提升。

总的来说，该架构展示了一个智能Agent“感知→推理→行动”的工作流程，以及知识、学习、交互等要素在该流程中扮演的重要角色。

AIoT代理将人工智能的认知能力与物联网设备的连接和数据收集能力相结合。这些代理不仅可以收集和分析来自不同来源的数据，还可以自主决策并执行操作以优化流程和结果。人工智能和物联网的集成产生了协同效应，从而打造出更智能、响应更快、适应性更强的系统。

AIoT代理以大型AI模型为核心，通过感知、推理、决策、执行等环节与物理世界互动，有望成为人工智能落地应用的重要抓手，为万物智联AIoT 2.0时代的到来开启崭新的可能性。

这些系统不仅能对数据做出反应，还能主动预测和采取行动，这对于需要精确性和灵活性的行业来说非常有价值。

更进一步，在论文《Position Paper- Agent AI Towards a Holistic Intelligence》中，研究团队提出了通用型AI代理的整体框架和关键组成部分。

在这一框架下，AIoT代理可以与其他类型的AI代理一起，被置于一个包含物理世界、VR / AR / MR、元宇宙等多重现实的环境中，旨在实现整体智能和具有涌现能力的通用人工智能。

具体来看，该框架涵盖了以下几个层次：

• 跨模态层：强调Agent需要具备多模态理解和交互能力，包括同情心/意识、人机交互、具身操纵、基础设施和智能系统等方面。

• 任务层：细化了智能体需要执行的具体任务，涉及感知、认知、医疗保健、导航、行为识别和预测、语言理解、知识和推理等方面。

• 个体模型层：描述了构成Agent的各类基础模型，包括生成模型、分类模型、视觉/分割模型、音频模型、情感模型和神经模型等。

• 基础模型层：概括了支撑上述各层模型训练所需的通用基础模型，涵盖视觉-语言标注数据、图像数据、视频数据、语音情感数据、神经数据、医疗数据、跟踪数据、行为数据、语言知识数据和逻辑数据等。

总之，该框架从现实环境复杂性、跨模态理解、任务多样性、模型异构性等多个维度，系统地刻画了实现通用人工智能所需的关键要素。而AIoT代理或许将成为其中的重要组成部分。

AIoT代理的分类

在大型预训练模型、小模型等加持下，AIoT代理将逐步摆脱被动接受指令的桎梏，走向更加智能化、自主化的发展阶段。它们将具备主动探索环境、持续学习进化的能力，通过从各类数据源汲取新知，不断完善和更新自身的知识与技能。

基于知识推理和目标规划，AIoT代理可针对环境的动态变化自主地调整策略和行为，完成各类复杂的任务。

基于论文《Agent AI- Surveying the Horizons of Multimodal Interaction》中的AI代理分类，AIoT代理可以包含如下类别：

1、具身AIoT代理

具身人工智能的目标是创造出诸如机器人等智能体，使其学会创造性地解决需要与环境交互的具有挑战性的任务。

尽管这是一个重大的挑战，但深度学习的重要进展以及大型数据集（如ImageNet）可用性的不断提高，已经在许多此前被认为棘手的AI任务上实现了超人的表现。这些进展极大地推动了具身AI的发展，使得越来越多的用户能够朝着与机器进行交互的智能Agent迅速发展。

具身AIoT代理又可进一步划分为行动AIoT代理和交互AIoT代理。

行动AIoT代理是指需要在模拟的物理环境或真实世界中执行物理动作的Agent。具体而言，它们需要积极地与环境进行交互活动。

交互AIoT代理是指可以与世界交互的Agent，是一个比行动智能体更广泛的类别。它们的交互形式不一定需要物理动作，但可能涉及向用户传递信息或修改环境。

例如，一个具身交互AIoT代理可以通过对话回答用户关于某个主题的问题，或帮助用户像聊天机器人一样解析现有信息。

2、仿真与环境AIoT代理

仿真和环境AIoT代理是在模拟环境中相互交互和通信的独立实体。它们用于对复杂系统进行建模和仿真。AIoT代理学习如何在环境中行动的一种有效方法是通过与环境的交互进行反复试错。一种代表性方法是强化学习，它需要大量的失败经验来训练Agent。尽管存在使用物理Agent的方法，但使用物理Agent耗时且成本高昂。此外，在实际环境中失败可能是危险的情况下（例如自动驾驶、水下航行器），在物理环境中训练往往是不可行的。因此，使用模拟器来学习策略是一种常见的方法。

总之，无论是具身AIoT代理还是仿真与环境AIoT代理，AIoT是人工智能与现实世界交互的重要舞台，而AIoT代理则有望成为架起想象与现实之间桥梁的关键技术载体。

AIoT代理的应用

AIoT代理可能的应用场景包括：

智慧城市

AIoT 代理可能可以帮助改善城市基础设施、改善资源管理并提高居民的生活质量。具体应用包括智能交通管理、节能建筑、废物管理和公共安全系统。AIoT 代理可实现实时监控和控制、预测性维护和数据驱动的城市规划。

卫生保健

在医疗保健领域，AIoT代理可能将改变患者护理、诊断和运营效率。它们有助于患者远程监控、个性化治疗计划和疾病预防预测分析。支持AIoT的医疗设备可以收集和分析患者数据、提醒医疗保健提供者注意潜在问题，甚至可以自主管理治疗。

工业自动化

AIoT代理可以通过优化制造流程、减少停机时间和提高产品质量来改变工业自动化。它们能够实现预测性维护、设备实时监控和生产线自适应控制。AIoT代理还可以促进供应链优化并确保智能工厂的无缝运行。

智能家居

在智能家居领域，AIoT代理可提高舒适度、安全性和能源效率。它们集成了各种智能设备，例如恒温器、照明系统和安全摄像头，以创建一个有凝聚力的智能家居环境。AIoT代理可以了解用户偏好、自动执行例程并响应不断变化的条件，以改善整体生活体验。

不过，让AIoT代理从受限场景走向开放世界依然任重道远。如何增强它们面对全新环境时的适应力，是一个关键挑战。涌现式机制和持续学习能力或许是突破这一瓶颈的“钥匙”。

例如，AIoT代理可以通过对话交互从人类使用者那里获取环境信息以及行为反馈，或是利用其他IoT传感器的数据来校准其决策模型。

再如，赋予AIoT代理虚拟仿真环境中的自主训练能力，让它们在数字孪生世界中反复练习，也可以有效提升真实场景下的执行效果。

除了通用智能，面向行业应用的专用AIoT代理也大有可为。以工业机器人为例，AIoT代理可望在视觉引导、扭矩控制、智能装配等环节实现革命性突破。在自动驾驶领域，AIoT代理可利用多传感器融合感知技术，实时规划车辆轨迹，大幅提升行车的安全性和舒适度。而在智慧医疗方面，AIoT代理或将成为医生的得力助手，提供智能诊断、手术规划等服务，让每一位患者获得更精准周到的诊疗。

因此，AIoT代理有可能成为AI代理经济中的一股重要力量。

如上图所示，包括通用领域的AI代理、垂直行业的AI代理，以及面向消费者的AI代理。在后两个领域，垂直行业和消费者应用，AIoT代理都可以一展身手。

写在最后

毋庸置疑，AIoT代理的研发和落地应用仍有不少障碍需要跨越。其中，如何保障人机协作的安全性，避免智能代理做出违背人类意图、危及生命财产的决策，是当前业界高度关注的伦理问题。因此，加强跨学科合作，建立健全法律法规体系，是保障AIoT代理健康发展的必要工作。

参考资料：

Agent AI- Surveying the Horizons of Multimodal Interaction，作者：Zane Durante、Qiuyuan Huang、Li Fei-Fei等，来源：arXiv.orgPosition Paper- Agent AI Towards a Holistic Intelligence，作者：Qiuyuan Huang、Naoki Wake、Li Fei-Fei等，来源：arXiv.orgAn Interactive Agent Foundation Model，作者：Zane Durante、Bidipta Sarkar、Li Fei-Fei等，来源：arXiv.org