UFO² – 微软推出的新一代桌面代理操作系统

UFO²是什么？

UFO²是微软推出的新一代桌面代理操作系统，基于原AgentUFO升级，专为Windows系统打造。它支持通过自然语言控制多应用操作，结合GUI自动化与原生API调用，大幅提升任务执行效率和精准度。UFO²具备智能推理、知识检索、推测执行等功能，并引入画中画桌面模式，增强自动化体验，适用于需要高效办公自动化的用户。

UFO²的主要功能

• 自然语言解析与任务管理：通过HostAgent解析用户指令，启动和协调多个应用程序自动执行任务。
• 跨应用自动化执行：支持不同应用之间的无缝操作，提升复杂场景下的执行效率。
• 混合控制执行：结合GUI自动化和Windows原生API调用，根据任务自动选择最佳执行方式。
• 智能知识检索：利用离线文档、在线搜索、演示记录等资源，动态辅助推理与操作。
• 推测执行机制：批量预测和验证操作，显著降低大模型推理的延迟。
• 画中画桌面模式（即将上线）：在虚拟桌面中运行自动化任务，与用户主桌面隔离，提升安全性与体验。

UFO²的应用场景

• 企业办公自动化：批量处理Excel、邮件、文档管理等复杂跨应用任务，提升办公效率。
• IT运维管理：自动化软件安装、配置调整、系统监控等操作，减少人工干预。
• 数据分析与处理：自动提取、整理、可视化数据，无需手动切换应用或重复操作。
• 客户服务与支持：快速响应常见故障排查，如蓝屏错误码识别、系统日志分析。
• 开发者辅助：在多个开发工具之间自动完成环境搭建、测试执行、结果整理等工作。
• 教育培训场景：通过自然语言控制系统，降低学习门槛，辅助培训和演示操作流程。

UFO²的项目信息

• UFO²项目官网：https://microsoft.github.io/UFO/
• GitHub仓库：https://github.com/microsoft/UFO/
• 技术报告：https://arxiv.org/abs/2504.14603