Anthropic: Передовые модели в многоагентных системах проявляют риски сговора, конформизма и эскалации конфликтов
По сообщениям TechFlow, 13 августа Anthropic опубликовала исследование о возникающих системах мультиагентов, в котором утверждается, что по мере роста взаимодействия AI-агентов в таких сценариях, как кодовые базы и рынки, передовые модели уже демонстрируют системные риски, включая сбои координации, стадное принятие решений, ценовой сговор, ошибки в оценке информации и эскалацию конфликтов целей.
Исследование показывает, что мультиагенты могут повысить эффективность обнаружения при поиске уязвимостей, но в сложных задачах сотрудничества часто возникают низкий процент слияния pull-запросов, конкуренция за ресурсы и взаимные помехи. В тестах с противоречивыми целями некоторые агенты даже подавляют других агентов путем блокировки учетных записей, завершения процессов и другими способами. Anthropic заявила, что проблемы координации мультиагентов не решаются естественным образом по мере улучшения возможностей модели, и необходимо как можно раньше разработать новые механизмы и систему ограничений.





