Тройной момент Anthropic: утечка кода, противостояние с правительством и вооружение

Автор: Бен Томпсон

Перевод: TechFlow

Вводная заметка TechFlow: Новая модель Anthropic Fable была экстренно приостановлена американским правительством всего через два месяца после анонса. На первый взгляд — из-за «утечки безопасности», но на самом деле это событие вскрыло двойную конфронтацию лаборатории ИИ с государством и с индустрией программного обеспечения. Компания, позиционирующая себя как гаранта безопасности, превращает повествование о безопасности в коммерческий ров, а настоящей целью её борьбы являются пользовательские данные, находящиеся в руках таких компаний, как Microsoft.

Я понимаю позицию скептиков, которые считают, что публичные заявления Anthropic — особенно формулировки, сопровождающие анонс моделей, — служат лишь маркетинговым инструментом для распространения тревоги. Два месяца назад Anthropic объявила о запуске Mythos Preview, заявив, что эта модель слишком опасна для публичного доступа, особенно из-за её выдающихся возможностей в области кибербезопасности. А спустя два месяца компания выпустила Fable — версию Mythos, оснащённую многочисленными защитными механизмами.

На основании моего ограниченного опыта использования Fable — действительно выдающаяся модель. Сегодня объективно оценить модели трудно, поскольку их производительность в программировании стала доминирующим критерием; тем не менее субъективные впечатления остаются. Я обнаружил, что взаимодействие с Fable чрезвычайно приятно: по сравнению с ней другие модели, включая GPT-5.5 и Opus 4.8, кажутся мелкими и глупыми. Такое впечатление у меня возникало лишь дважды ранее — при знакомстве с GPT-4 и Grok-4, обе эти модели знаменовали собой новое поколение базовых моделей по масштабу и сложности; мне кажется, Fable основана на новом предобучении и является первой моделью этого нового поколения.

Поэтому я вполне готов принять утверждение Anthropic о том, что Fable/Mythos действительно обладает повышенной способностью выявлять и эксплуатировать уязвимости безопасности, и считаю оправданным осторожный подход компании к их выводу на рынок. Однако проблема публичного выпуска модели заключается в том, что защитные механизмы могут быть обойдены — и именно это произошло вскоре после релиза.

Anthropic снова вступает в противостояние с американским правительством

Дальнейшее развитие событий остаётся неясным. В своём блоге Anthropic пишет:

Американское правительство, ссылаясь на полномочия в сфере национальной безопасности, издало распоряжение об экспортном контроле, приостановив доступ всех иностранных граждан к Fable 5 и Mythos 5 вне зависимости от их местонахождения — как на территории США, так и за её пределами, включая иностранных сотрудников самой Anthropic. Практическим следствием этого распоряжения стало необходимость немедленного отключения Fable 5 и Mythos 5 для всех клиентов с целью соблюдения требований. Доступ ко всем остальным моделям Anthropic остаётся неизменным.

Мы получили это распоряжение в 17:21 по восточному времени США сегодня. В документе не указаны конкретные детали вызываемых беспокойств в сфере национальной безопасности. Мы понимаем, что правительство считает, будто был обнаружен способ обхода или «взлома» (jailbreak) Fable 5. Мы проанализировали демонстрации, где с помощью этой конкретной техники были выявлены лишь несколько известных незначительных уязвимостей. Все эти уязвимости кажутся относительно простыми, и мы установили, что аналогичные уязвимости способны обнаруживать и другие общедоступные модели — без необходимости обхода защитных механизмов.

Anthropic далее утверждает, что неуниверсальные случаи взлома неизбежны и ограничены по масштабу, и доказательств существования универсального взлома нет; при этом обнаруженный случай взлома, судя по всему, был сообщён Amazon — что примечательно, поскольку Amazon одновременно является инвестором Anthropic и главным поставщиком её сервисов вывода решений (inference). На момент написания этой статьи руководители Anthropic находятся в Вашингтоне, пытаясь разрешить ситуацию, которую они называют недоразумением, тогда как официальные лица Белого дома намекают, что руководство компании проявляет безразличие к законным обеспокоенностям в сфере национальной безопасности.

Учитывая, что многие факты остаются спорными, мне нечего добавить к текущему конфликту; однако я не удивлён его возникновению: в своей статье «Anthropic и согласованность» я уже объяснял, что конфликт между американским правительством и Anthropic неизбежен. С этой точки зрения те, кто считает Mythos ещё недостаточно мощной для столь решительных действий со стороны государства, упускают суть: если сейчас она ещё недостаточно сильна, то следующая будет — или та, что после неё, особенно учитывая, что современные модели всё эффективнее создают свои собственные преемники.

Однако это порождает ещё один вопрос — тот, который, по-видимому, подтверждает точку зрения скептиков: если Mythos настолько опасна, зачем вообще выпускать Fable? Зачем вступать в конфронтацию с правительством, совершая то, что, по вашим же словам, вы стремитесь предотвратить? Фактически, я считаю поведение Anthropic вполне объяснимым; уникальность компании заключается не в самих действиях, а в том, как она их оправдывает — именно эти оправдания одновременно питают скептиков и наделяют Anthropic особой силой.

Экономическая необходимость

В первые годы развития ИИ наибольшая экономическая ценность шла на вычислительные мощности — причина очевидна: спрос превышал предложение, что привело к резкому росту цен. Крупнейшими бенефициарами стали NVIDIA, TSMC и производители памяти (SK Hynix, Samsung и Micron). В то же время Anthropic и OpenAI в совокупности потеряли сотни миллиардов долларов на создание передовых моделей, которые, как только становились публичными, подвергались дистилляции и превращались в товарные решения открытыми моделями — преимущественно китайскими.

Это представляет собой пессимистический сценарий для лабораторий: они никогда не смогут окупить затраты, поскольку их дифференциация носит временный характер, а бесплатные альтернативы становятся «достаточно хорошими» — и я считаю такой сценарий реалистичным. В мире, где модели взаимозаменяемы, они превращаются в товар, и большая часть ценности перетекает в другие сегменты. Сейчас это вычислительные мощности, но со временем, когда их станет достаточно, наиболее ценной позицией в цепочке создания стоимости станет та, что всегда была самой ценной: контроль над точками контакта с пользователями.

Следовательно, передовым лабораториям экономически необходимо приближаться к пользователям — и это было очевидно для меня с самого начала. Если вы контролируете точки контакта с пользователями, вы получаете значимую привязку (lock-in), а лучший способ получить такие точки — стать «холстом», на котором пользователи выполняют все свои задачи. Это означает, что передовые лаборатории неизбежно вступают в конфликт с компаниями ПО: именно ПО владеет точками контакта с пользователями, а долгосрочный интерес лабораторий заключается не в том, чтобы просто стать товарным компонентом для ПО, а в том, чтобы напрямую заменить ПО.

В то же время компании ПО активно делают противоположное. Сатья Наделла в одном из своих постов в X изложил видение того, как компании должны строить решения на основе моделей:

Каждая компания должна формировать то, что я называю человеческим капиталом и «токенным» капиталом. Человеческий капитал включает в себя знания, суждения, отношения, оригинальность и способность распознавать паттерны, присущие сотрудникам компании, а «токенный» капитал — это ИИ-возможности, которые компания создаёт и владеет. Важно, что рост «токенного» капитала не снижает ценности человеческого капитала — он лишь повышает её! Я убеждён, что инициатива человека станет движущей силой роста «токенного» капитала. Люди будут ставить амбициозные цели, устанавливать междисциплинарные связи, выстраивать отношения и выявлять наиболее важные паттерны. Без человеческого руководства ваши вычислительные мощности будут работать вхолостую.

Это означает, что настоящая возможность заключается не в выборе лучшей модели, а в построении циклов обучения поверх неё, позволяющих человеческому и «токенному» капиталу расти по экспоненте. Вы можете делегировать выполнение задачи — даже целой работы, — но никогда не сможете делегировать обучение. Будущее компании зависит от способности наращивать этот процесс обучения совместно человеком и ИИ. Для этого требуется новый архитектурный подход, позволяющий каждой компании создавать системы интеллектуальных агентов, которые со временем совершенствуются, сохраняя при этом полный контроль над своей интеллектуальной собственностью. Компания должна иметь возможность заменять «универсальные» модели, не теряя при этом «корпоративную экспертизу», встроенную в её систему обучения. Именно это станет ключевым «тестом» на контроль и суверенитет в будущем.

Наделла начинает своё видение с предупреждения:

Никто из нас не хочет жить в мире, где каждая компания в каждой отрасли отдаёт свою ценность нескольким «всепоглощающим» моделям. Если вся ценность будет сосредоточена лишь в руках нескольких моделей, политическая и экономическая система просто не допустит этого. Общество не одобрит будущее ИИ, которое полностью опустошит целые отрасли.

Вспомните, что произошло на первом этапе глобализации: целые промышленные экономики были опустошены за счёт аутсорсинга. На первый взгляд цифры ВВП выглядели неплохо, но последствия — массовое вытеснение рабочих — были реальными и ощущаются до сих пор. Не повторим ли мы эту динамику в эпоху ИИ, позволив нескольким ИИ-системам забрать весь экономический доход, в то время как целые отрасли обнаружат, что их знания товаризируются прямо у них на глазах?

Проблема этой аналогии в том, что глобализация действительно произошла, а промышленные экономики действительно были опустошены. Возможно, это не предупреждение, а пророчество; неудивительно, что Наделла подаёт сигнал тревоги — ведь Microsoft может стать одной из жертв. В то же время экономическая необходимость для производителей моделей как раз и состоит в реализации именно такого сценария.

Необходимость данных

Эти модели — даже Mythos — пока не достигли этой стадии. Им нужны не только дополнительные вычислительные мощности, но и больше, а главное — более качественные данные. Улучшение моделей всё чаще происходит за счёт обучения с подкреплением; часть таких данных может быть сгенерирована искусственно, однако наиболее мощным рычагом для передовых лабораторий остаётся реальное использование моделей в реальном мире.

Я считаю, что именно поэтому OpenAI и Anthropic предлагают значительно субсидированные подписки. Недавняя оценка SemiAnalysis показывает, что план стоимостью 200 долларов даёт доступ к токенам Claude на сумму 8000 долларов и к токенам Codex на сумму 14 000 долларов. Конечно, обе компании борются за долю пользователей и разработчиков в сознании, но одновременно они соперничают и за доступ к реальным данным использования, необходимым для улучшения моделей.

Anthropic сделала ставку на Fable, объявив, что будет хранить все данные использования в течение 30 дней — даже для корпоративных планов, ранее гарантирующих полное отсутствие хранения данных. Компания заявляет, что не будет использовать эти данные для обучения, однако не предусмотрела никаких гарантий, препятствующих этому в будущем (например, хранение данных у стороннего провайдера). Если изменение этой политики (когда Fable будет восстановлена) не приведёт к массовому оттоку клиентов, я сомневаюсь, что использование этих данных начнётся лишь вопросом времени: для их конечной цели это слишком ценно.

Обратите внимание также на положительный цикл, связанный с продвижением вверх к точкам контакта с пользователями: чем больше рабочих процессов выполняется непосредственно через Claude или Codex, тем больше данных, пригодных для обратной связи в процесс обучения, получает каждая компания — что делает их продукты сильнее и полезнее, расширяет количество обслуживаемых рабочих процессов и увеличивает доступ к данным.

Наделла в своей статье подчёркивает важность этих данных, но естественно считает, что они должны быть независимы от моделей:

Компании должны преобразовывать рабочие процессы, предметную экспертизу и накопленные суждения в ИИ-системы, улучшающиеся с каждым использованием. Приватные оценки должны фиксировать, действительно ли модель улучшает результаты, имеющие значение для бизнеса (а не просто внешние бенчмарки!). Приватная среда обучения с подкреплением должна позволять модели становиться сильнее на реальных траекториях внутри организации. Её хранилище знаний делает организационную память доступной для поиска, а использование токенов — более эффективным.

Этот цикл становится новой интеллектуальной собственностью компании. Я рассматриваю его как «машину восхождения». В отличие от большинства активов, он работает по принципу сложного процента. Каждый улучшенный рабочий процесс генерирует более качественные сигналы для обучения, что ускоряет накопление уникальных неявных знаний компании. Компании, которые первыми создадут такую систему, получат преимущество, которое невозможно воспроизвести — вне зависимости от того, какие возможности ни появятся у новых отдельных моделей.

Этот цикл становится новой ИС компании. Я рассматриваю его как «машину восхождения». В отличие от большинства активов, он растёт по экспоненте. Каждый улучшенный рабочий процесс генерирует более качественные сигналы для обучения, ускоряя накопление уникальных неявных знаний компании. Ранние игроки, внедрившие такую систему, получат труднокопируемое преимущество, независимо от будущих возможностей отдельных моделей.

Однако что, если компании, подчиняющиеся политике Anthropic в отношении данных, уже сейчас получают лучшие результаты? Или если существующие компании окажут сопротивление — оставив новым игрокам или самим производителям моделей возможность победить их на рынке? Anthropic действительно проверяет решимость, призывая к которой выступает Наделла.

Претензии на власть

Политика Anthropic в отношении хранения данных для Fable/Mythos — ещё не самая спорная часть релиза. Гораздо более спорным оказалось заявление компании при выпуске: если Fable используется для разработки LLM, её производительность будет тайно снижена; в документации к системе говорится:

Мы также добавили меры защиты, связанные с передовой разработкой LLM. Как обсуждается в разделе 6.1 нашего отчёта о рисках за февраль 2026 года, нас беспокоит риск ускорения общего темпа развития ИИ, хотя степень серьёзности этих рисков остаётся неопределённой. В частности, наши опасения касаются — как мы тогда писали — «ускорения разработки другими ИИ-разработчиками мощных ИИ-систем, сопоставимых по риску с нашими, но, возможно, не оснащённых соответствующими защитными механизмами».

Учитывая недавнюю способность моделей ускорять собственную разработку, мы внедрили новые меры вмешательства, ограничивающие эффективность Claude при запросах, связанных с передовой разработкой LLM (например, построение пайплайнов предварительного обучения, распределённой инфраструктуры обучения или проектирование ML-акселераторов). Использование Claude для разработки конкурирующих моделей изначально нарушает наши условия обслуживания, однако применение защитных мер позволяет принудительно обеспечить соблюдение этого ограничения и тем самым предотвратить ускорение деятельности тех, кто наиболее склонен нарушать эти условия.

В отличие от наших мер вмешательства в областях кибербезопасности, биохимии и попытках дистилляции, эти меры невидимы для пользователя. Fable 5 не переключится на другую модель. Вместо этого эффективность будет ограничиваться путём изменения промптов, направления векторов или параметрически эффективной тонкой настройки (PEFT). Эти меры не повлияют на подавляющее большинство программистских задач. По нашим оценкам, они затронут около 0,03 % трафика, сосредоточенного менее чем в 0,1 % организаций. При срабатывании этих мер мы ожидаем, что помимо ограничения эффективности при разработке передовых LLM, влияние на поведение модели будет минимальным. Claude по-прежнему будет давать полезные ответы на запросы пользователей. После релиза модели мы продолжим повышать точность методов обнаружения.

Anthropic отменила это изменение — теперь Fable будет перенаправлять запросы, связанные с LLM, на Opus 4.8 и информировать пользователя об этом перенаправлении, — однако изначальная политика крайне показательна. С одной стороны, я не виню Anthropic за желание не помогать конкурентам; с другой — совершенно очевидно, что Anthropic считает, будто никто, кроме них самих, не должен создавать передовые LLM.

Эта политика выглядит ещё более примечательной в свете конфликта Anthropic с Министерством обороны США, произошедшего всего два месяца назад: Минобороны хотело использовать Claude для любых законных целей, в то время как Anthropic настаивала на более строгом контроле за наблюдением и автономным оружием. Такой механизм понижения производительности демонстрирует как способность Anthropic тихо изменять свои модели для достижения своих политических предпочтений, так и её готовность сделать это. Иными словами, Anthropic добровольно подтвердила одну из главных опасений критиков — её потенциальную роль как риска для цепочки поставок.

Однако более широкий вывод, вытекающий из этого инцидента, заключается в том, что Anthropic считает себя единственным субъектом, имеющим право окончательно решать, как использовать её продукты. Поскольку компания считает, что только она имеет право разрабатывать передовые ИИ-системы, она фактически полагает, что только она должна иметь окончательное право решать, как использовать ИИ в целом. Если соединить это убеждение с заявлениями компании о способности ИИ выполнять все экономические функции, становится ясно: руководство Anthropic по сути стремится к власти над всем и всеми.

Повествование о безопасности

Разумеется, Anthropic никогда не сформулирует это столь прямо; вместо этого речь пойдёт о безопасности:

Я ожидаю, что Anthropic будет всё активнее предоставлять конечным пользователям возможности своих моделей через специализированные конечные точки, адаптированные под конкретные рабочие процессы, даже одновременно ограничивая API. Эта замена ПО и ограничение доступа будут осуществляться от имени безопасности, даже если Anthropic тем самым реализует свою экономическую необходимость приближения к конечным пользователям.

Объяснение Anthropic радикального изменения своей политики хранения данных — безопасность. Конкретно компания утверждает, что хранение всех пользовательских данных в течение 30 дней необходимо для предотвращения тех самых случаев обхода защиты (jailbreak), которые вызывают обеспокоенность у американского правительства. Я легко могу представить будущее, в котором фактор безопасности вынудит их также использовать эти данные для обучения, чтобы лучше противодействовать злонамеренному использованию.

Вся история возникновения Anthropic уходит корнями в убеждение её основателей, что OpenAI недостаточно серьёзно относится к безопасности; компания считает, что только она способна контролировать ИИ, и поскольку именно она уникальным образом заботится о безопасности, у неё есть основания пытаться контролировать всех остальных — включая и американское правительство.

Проблема этих аргументов, связанных с безопасностью, заключается в следующем: я считаю их убедительными не потому, что они являются аргументами — для Anthropic они не аргументы. Компания искренне верит, что только она верит в существование сверхразумного ИИ и, следовательно, только она в достаточной степени осознаёт связанные с этим опасности. Это оправдывает одно решение за другим, одну политику за другой, одну конфронтацию за другой — и для внешних наблюдателей это выглядит как странное сочетание цинизма и наивности.

Контраст с OpenAI огромен: я считаю, что один из способов понять, как и почему OpenAI потеряла лидерство, — это признать, что в течение нескольких лет после запуска ChatGPT компания внутренне находилась в состоянии конфликта: бывшая исследовательская лаборатория вдруг оказалась нагруженной обязанностями неожиданно возникшей потребительской технологической компании; в процессе разрешения этого конфликта OpenAI потеряла значительную часть своего персонала — в том числе в пользу таких компаний, как Anthropic.

Anthropic же демонстрирует идеальное единство между своими кадрами, миссией и бизнесом. Компания может продавать исследователям видение создания «машины-бога», снабжённое ореолом человека, который не только осознаёт опасности, но и достаточно умён, чтобы представлять человечество в борьбе с ними; при этом каждое последующее изменение политики оказывается выгодным для бизнеса — и это, конечно, прекраснейшее совпадение в мире.

Я как уважаю, так и боюсь этого единства. Я уважаю его, потому что оно явно чрезвычайно эффективно; ближайший аналог — Apple, которая всегда маскирует каждый свой эгоистичный шаг под заботу о пользе пользователя — и зачастую действительно делает это. Anthropic действует так же. Однако меня пугает то, что доверить создание смартфона, который я могу принять или отвергнуть, людям, убеждённым в собственной правоте, — одно дело; совсем другое — доверить им создание сверхразума, потенциально способного соперничать или даже превзойти власть национальных государств или крупных корпораций. История умных людей, уверенных в том, что знают, чего хочет человечество, — грязна именно потому, что они убедили самих себя в благих намерениях, тем самым оправдывая действия, которые таковыми не являлись.