Исследователи создали виртуальную компанию под названием TheAgentCompany, где все позиции — от финансовых аналитиков и программистов до проектных менеджеров — занимали не люди, а ИИ-агенты от Google, OpenAI, Anthropic и Meta*. Агент — это модель искусственного интеллекта, которая должна самостоятельно выполнять поставленные задачи, подобно человеку.
Виртуальным сотрудникам поручили обычные офисные задания: работать с файлами, совершать виртуальные экскурсии по новым офисным помещениям и писать отзывы на работу коллег.
Результаты оказались катастрофическими. Лучшей моделью стала Claude 3.5 Sonnet от компании Anthropic, но даже она смогла выполнить лишь 24% поставленных задач. При этом ее работа была крайне неэффективной — в среднем на каждую задачу уходило около 30 шагов и более шести долларов.
Gemini 2.0 Flash от Google тратил на каждую задачу около 40 шагов, но успешно завершал только 11,4% заданий. Худшим «сотрудником» оказался Nova Pro v1 от Amazon, который справился лишь с 1,7% поручений.
