微软亚研院新作：让大模型一口气调用数百万个API！
近年来，人工智能发展迅速，尤其是像ChatGPT这样的基础大模型，在对话、上下文理解和代码生成等方面表现出色，能够为多种任务提供解决方案。
但在特定领域任务上，由于专业数据的缺乏和可能的计算错误，它们的表现并不理想。同时，虽然已有一些专门针对特定任务的AI模型和系统表现良好，但它们往往不易与基础大模型集成。
为了解决这些重要问题，TaskMatrix.AI破茧而出、应运而生，这是由微软（Microsoft）设计发布的新型AI生态系统。
其核心技术近期在《科学》合作期刊Intelligent Computing上发表的论文TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs中正式亮相，作者为微软亚洲研究院的段楠博士团队：
（详见链接：https://spj.science.org/doi/10.34133/icomputing.0063）
TaskMatrix.AI将基础大模型与数以百万计的应用程序编程接口（APIs）连接起来完成任务。
其核心思想是利用现有的基础大模型作为类似大脑的中央系统，结合其他AI模型和系统的APIs作为各种子任务解决者，以完成数字和物理领域的多样化任务。
TaskMatrix.AI如何工作？
TaskMatrix.AI的整体架构由以下四个关键组件构成：
多模态对话基础模型（MCFM）：负责与用户沟通，理解他们的目标和上下文（多模态），并基于API生成可执行代码以完成特定任务。MCFM能够处理文本、图像、视频、音频和代码等多模态输入，生成执行特定任务的代码。它还能够从用户指令中提取具体任务，并提出合理的解决方案大纲，帮助选择最合适的API进行代码生成。
API平台：提供一个统一的API文档架构，用于存储数以百万计具有不同功能的API，并允许API开发者和所有者注册、更新和删除他们的API。API平台通过统一的文档架构帮助MCFM更好地理解和利用各种API。
API选择器：根据MCFM对用户指令的理解，推荐相关的API。API选择器具备搜索能力，能够在拥有大量API的平台上快速定位到与任务需求和解决方案大纲相匹配的API。
API执行器：通过调用相关API执行生成的动作代码，并返回中间和最终的执行结果。API执行器设计用于运行各种API，包括从简单的HTTP请求到复杂的算法或需要多个输入参数的AI模型。
以上四个组件协同工作，共同构建了一个高效的系统。MCFM作为用户交互的主要接口，负责生成解决方案。API平台则提供了一个标准化的API文档格式，并作为一个集中存储库，容纳了数百万API。API选择器根据MCFM对用户需求的理解，从API平台中选取合适的API。
最后，API执行器负责执行由选定API生成的代码，并解决任务。
将本文加入收藏夹
新闻详情
