Anthropic公司于近日揭晓了Claude 3.5的重大更新，推出了Claude 3.5 Haiku与Claude 3.5 Sonnet两款新版本。其中，Claude 3.5 Sonnet在编程及计算机操作功能上实现了显著提升，新增“computer use”功能，使其能够模拟人类操作计算机的行为。
据悉，Claude 3.5 Sonnet能够遵循用户指令，在计算机屏幕上移动光标、点击相关位置，并通过虚拟键盘输入信息。在OSWorld评估中，该功能虽未达到人类水平，但已远超同类AI模型。
Anthropic开发者关系主管强调，计算机使用功能是全新人机交互范式的第一步，也是AI模型应具备的基础能力。目前，Claude 3.5 Sonnet及“computer use”测试版均已开放使用。
在智能体编码和工具使用任务中，Claude 3.5 Sonnet取得了显著突破，性能大幅提升，超越了包括OpenAI o1-preview在内的所有公开可用模型。
然而，Claude 3.5 Sonnet在操作速度和精确度上仍存在不足，如拖拽、缩放等日常操作尚无法实现，且观察屏幕的方式可能会错过短暂动作。尽管如此，这一进步仍为软件开发等任务带来了新的可能性。
