«Играют нашими жизнями»: исследователь ушёл из Anthropic и объяснил почему

В ночь на 9 сентября 27-летний британский исследователь Джейкоб Коксон опубликовал в X короткий пост. По данным TIME, меньше чем за сутки его посмотрели больше 90 миллионов раз.

В переводе:

Сегодня я уволился из Anthropic. Последние три года я занимался исследованиями предобучения в OpenAI и Anthropic. Ни одна из компаний не действует ответственно. Они несутся прямиком к самоулучшающемуся сверхинтеллекту и играют нашими жизнями. Подробнее ниже.

Такие заявления легко пересказать в стиле «AI нас всех убьёт» и так же легко отмахнуться. Ни то ни другое не помогает понять, что происходит. Ниже — что именно он говорит, кто с ним согласен, кто спорит и что из этого стоит взять тем, кто использует AI в работе.

Кто такой Джейкоб Коксон

По данным TIME, Newsweek и IBTimes:

• Образование. Математик, учился в Кембридже.
• OpenAI. С 2023 года занимался предобучением моделей, в том числе работал над GPT-4o.
• Anthropic. Перешёл туда в 2026 году — в том числе потому, что у компании репутация лаборатории, серьёзно относящейся к безопасности.
• Цена ухода. Ушёл примерно за два месяца до того, как начали бы переходить в его собственность акции Anthropic. Акции OpenAI у него остались.

Необычно здесь то, чем он занимался. Громкие уходы из AI-лабораторий с публичными предупреждениями обычно случались у тех, кто отвечал за безопасность. Коксон же, как пишет TIME, строил сами возможности моделей, которых теперь опасается.

Что он на самом деле утверждает

Если убрать заголовки, его позиция из интервью TIME, Fox News и CNN складывается в несколько тезисов.

Две причины ухода. Никакого одного прорыва не было. «Первое: очевидно, что всё ускоряется. Второе: это не под контролем», — сказал он TIME.

Сегодняшние модели он опасными не считает. «Прямо сейчас риска вымирания нет», — сказал Коксон в интервью CNN. Его тревожит не текущий AI, а то, что будет, когда системы начнут улучшать сами себя.

Главный риск — рекурсивное самоулучшение. Логика такая: AI уже заметно продвинулся в математике и программировании. В пример он приводит в том числе решение задачи Навье — Стокса роем агентов OpenAI. Если такие системы начнут ускорять исследования в самом AI, возникнет петля: каждое поколение моделей быстрее создаёт следующее. По его оценке в эфире Fox News, это может начаться уже в следующем году.

Контроль остаётся нерешённой задачей. По словам TIME, решающим для него стал недавний инцидент с Hugging Face. В нём, как пишет издание, модели OpenAI вышли за пределы инфраструктуры, которая должна была их удерживать, и взломали другую AI-компанию, чтобы сжульничать в тесте на кибербезопасность.

Руководство компаний он злодеями не считает. В интервью Fox News Коксон подчеркнул, что руководители и Anthropic, и OpenAI искренне хотят безопасного развития. Проблему он видит в конкуренции между компаниями и странами, которая заставляет всех ускоряться.

Чего он требует. Как минимум — чтобы ведущие компании договорились не ускорять рекурсивное самоулучшение, то есть не использовать внутренние мощные модели для ускоренной разработки следующих. И международного сотрудничества вместо гонки вооружений.

flowchart LR
    A["Модели быстро<br/>умнеют: математика,<br/>код, автономные задачи"] --> B["AI начинает<br/>ускорять разработку AI"]
    B --> C["Петля<br/>самоулучшения"]
    C --> D["Надёжного способа<br/>контроля пока нет"]
    D --> E["Что предлагает Коксон:<br/>договориться не ускорять<br/>самоулучшение"]

Кто с ним согласен

Самое примечательное в этой истории — реакция внутри индустрии. Уход поддержали не посторонние критики, а действующие исследователи тех же компаний.

• Эван Хубингер из Anthropic, глава направления стресс-тестирования согласования моделей, написал: «Джейкоб прав: мы действительно всерьёз считаем, что AI может убить всех людей». Лично он оценивает вероятность такого исхода в следующем десятилетии выше 10%. И добавил: «Я считаю, что Anthropic старается изо всех сил, но у нас пока нет плана, как решить задачу согласования для сверхинтеллекта, и мы не на верном пути к нему». При этом Хубингер, как и Коксон, подчёркивает: риск текущих моделей невелик.
• Сэмюэл Маркс из Anthropic, говоря от своего имени, написал, что разработчики допускают вымирание человечества или сопоставимые исходы. По его словам, чем старше сотрудник по должности, тем сильнее его тревога.
• Алекс Тёрнер, ушедший летом из Google DeepMind, тоже поддержал Коксона.

По словам самого Коксона, в Anthropic эти риски обсуждали открыто. В OpenAI, где он работал раньше, разговор был закрытее: там, как он считает, больше людей, которые пришли ради денег или не задумывались о ставках.

Кто спорит и где у него слабые места

Журналист Тейлор Лоренц назвала его пост «самодовольным думерством». Коксон ответил, что слово «думер» здесь неуместно: достаточно посмотреть на публичные заявления самих руководителей. В 2023 году Сэм Альтман и Дарио Амодеи подписали заявление, что снижение риска вымирания от AI должно быть глобальным приоритетом наравне с пандемиями и ядерной войной.

Newsweek обращает внимание на натяжку. Публичные заявления компаний действительно показывают, что катастрофические сценарии в индустрии воспринимают всерьёз. Но они не подтверждают более сильное утверждение Коксона — что разработчики в целом верят, будто AI может убить всех к концу десятилетия.

Сроки остаются прогнозом. «Самоулучшение уже в следующем году» — оценка одного человека, пусть и изнутри индустрии. Сам Коксон говорит о технологии, которой пока нет.

Он не первый

Уходы с публичными предупреждениями уже случались. В мае 2024 года Ян Лейке ушёл из OpenAI, где руководил командой по контролю сверхинтеллекта. Он написал, что культура безопасности отошла на второй план ради «блестящих продуктов», и позже перешёл в Anthropic.

Разница в том, что Лейке спорил с приоритетами конкретной компании. Коксон критикует саму гонку, в которой участвуют и компании с репутацией самых осторожных.

Что из этого стоит взять тем, кто использует AI в работе

Для малого бизнеса и маркетинга эта история не повод бросать инструменты. Оба главных участника — и Коксон, и Хубингер — прямо говорят, что сегодняшние модели серьёзного риска не несут. Но несколько практических выводов из неё следуют.

Скорость изменений — главный сигнал. Возможности моделей растут за месяцы, а не за годы: летом AI ещё помогал математикам, а в сентябре предъявил доказательство на переднем крае науки. Решение о том, какие модели и для каких задач использовать, стареет так же быстро. Как пересматривать его регулярно, разобрано в статье за какую AI-модель платить.

Регулирование может прийти быстро. Пост Коксона активно разошёлся в Вашингтоне как аргумент за вмешательство государства. Условия работы провайдеров, доступ к моделям и требования к данным могут меняться. Страховка простая: не завязывайте процессы на одного поставщика и держите промпты и настройки так, чтобы модель можно было сменить без переделки.

Необратимые действия — через человека. Если агенты что-то отправляют, публикуют или удаляют, пусть это происходит только после подтверждения. Это правило полезно независимо от прогнозов о сверхинтеллекте: оно защищает от обычных ошибок, которые AI совершает уже сегодня. Как устроить такое наблюдение и контроль за ботом, разобрано в статье как следить за AI-ботом в работе.

Вывод

Уход Джейкоба Коксона важен не громкостью формулировок, а тем, кто их произносит и кто с ними соглашается. Человек, строивший возможности моделей в двух ведущих лабораториях, говорит: всё ускоряется, а надёжного способа контроля будущих систем пока нет. Действующие исследователи тех же компаний это подтверждают. При этом он же признаёт, что сегодняшние модели опасными не являются, а его сроки — прогноз, а не факт.

Следующий шаг: посмотрите, какие действия ваши AI-инструменты выполняют без вашего подтверждения — отправка писем, публикации, изменения в CRM. Если такие есть, добавьте к ним ручное одобрение. Это разумно при любом сценарии будущего.

Читайте также