Anthropic 的最新 AI 模型可以像你一样使用计算机

想象一下，一个可以独立与计算机协同工作的人工智能模型。好吧，现在不用再想象了，因为这样的人工智能已经出现了。周二，Anthropic 宣布其最新一代 Claude 人工智能模型可以使用计算机 ——就像你和我一样。这款被称为 Claude 3.5 Sonnet 的人工智能已经以测试模式出现，开发人员可以通过 API 使用。

Anthropic 称 Claude 3.5 Sonnet 是“首个公开测试版的前沿人工智能模型”，开发人员可以对它进行编码，让它以多种方式与计算机协同工作。通过使用通过 API 编程的产品或服务，您可以告诉人工智能“看”计算机屏幕、在屏幕上移动光标、点击按钮以及通过虚拟键盘输入文本。其目的是模拟您与自己的计算机交互的方式。

目前，新 AI 显然处于实验阶段，有时很麻烦，而且容易出错。不过，Anthropic 发布了新测试版，专门收集开发人员的反馈，以便随着时间的推移改进模型。

为什么人工智能使用计算机是有用的？ Anthropic 已经预见到并解决了这个问题。

“大量的现代工作都是通过计算机完成的，”Anthropic 说道。“让人工智能能够像人类一样直接与计算机软件交互，将解锁大量应用，而这些应用对于当前一代人工智能助手来说根本无法实现。”

那么开发人员和用户如何才能利用与计算机协同工作的人工智能呢？

“我们不是制作特定工具来帮助 Claude 完成单个任务，而是教它通用的计算机技能——允许它使用为人类设计的各种标准工具和软件程序，”Anthropic 解释道。“开发人员可以利用这种新兴能力来自动化重复过程、构建和测试软件，并开展研究等开放式任务。”

Anthropic 表示，已有多家公司开始利用 Claude 3.5 Sonnet 在计算机方面的强大功能，其中包括 Asana、Canva、Cognition、DoorDash、Replit 和 The Browser Company。例如，软件开发和部署平台 Replit 正在利用这些功能来评估其 Replit Agent 产品的应用程序。

Anthropic 揭秘 据 Anthropic 介绍，对 Claude 进行编程，让他学会使用计算机，特别是看着屏幕并采取某些动作作为响应，这需要经过大量的反复试验。

使用计算机需要能够查看和解读图像，例如计算机屏幕上的图像。它还涉及根据屏幕上显示的内容确定如何以及何时运行特定操作的能力。为了满足这些要求，Claude 3.5 Sonnet 查看了显示您正在查看的内容的屏幕截图。然后，AI 计算垂直和水平像素的数量，以确定将光标移动到何处。这项技能对于 AI 发出鼠标命令的能力至关重要。

克劳德目前表现如何？ 在OSWorld基准测试中，Claude 3.5 Sonnet 的得分为 14.9%，该测试评估了 AI 模型使用计算机的尝试。Anthropic 表示，尽管这远低于 70%-75% 的人类水平技能，但它几乎是同一类别中排名第二的 AI 模型 7.7% 的两倍。

人工智能使用计算机的尝试仍处于早期阶段。因此，Claude 无法执行更“高级”的计算机任务，例如拖动窗口或放大屏幕。此外，Claude 通过查看和整理屏幕截图与计算机合作的方式意味着它可能会错过某些操作和通知。

Anthropic 表示：“我们预计计算机的使用将迅速改善，变得更快、更可靠，更有助于完成用户想要完成的任务。对于那些软件开发经验较少的人来说，它也将变得更容易实现。在每个阶段，我们的研究人员都将与我们的安全团队密切合作，确保 Claude 的新功能伴随着适当的安全措施。”

Claude 3.5 Sonnet 现已面向所有人开放。开发人员可以使用 Anthropic API、Amazon Bedrock 和 Google Cloud 的 Vertex AI 上的计算机使用测试版构建应用程序。