Виталик: проектирование состязательных механизмов управления может стать важным применением в области безопасности искусственного интеллекта

TechFlow сообщает: 14 сентября Виталик Бутерин заявил, что «убойным применением» теории проектирования механизмов антагонистического управления, вероятно, станет в конечном итоге сфера безопасности искусственного интеллекта. По его мнению, между механизмами управления и безопасностью ИИ существует глубокая связь: в обеих областях рассматривается вопрос о том, как «менее компетентный принципал» может добиться идеальных результатов от «более мощного агента». В сценариях управления принципалом выступает статический алгоритм, а агентом — человек; в сценариях безопасности ИИ принципалами являются люди и более слабые большие языковые модели, а агентом — более мощная большая языковая модель.

Виталик отмечает, что при условии ограничения уровня сговора между агентами система способна обеспечить лучшие результаты, и данный вывод теории проектирования механизмов может быть применён к сфере безопасности искусственного интеллекта.