«Это не пиар-трюк»: бывший исследователь Anthropic предупредил о риске вымирания человечества из-за ИИ

Бывший инсайдер Anthropic Джейкоб Коксон удваивает свою предупреждение о том, что искусственный интеллект может стать угрозой уровня вымирания для человечества всего через несколько лет, настаивая, что его апокалиптическое предсказание — не пиар-трюк.

«Существует значительная вероятность, что эта технология может убить всех», — сказал Коксон NBC News в среду после ухода из ИИ-гиганта на этой неделе.

«Это не гипербола, — сказал он. — Это не маркетинговый трюк».

Коксон, который провел три года, занимаясь исследованиями в Anthropic и OpenAI, бьет тревогу в череде телевизионных интервью после своего ухода, утверждая, что быстро развивающийся ИИ вскоре может стать способным улучшать себя с минимальным участием человека.

Хотя Коксон подчеркнул, что сегодняшние ИИ-модели представляют «никакого риска вымирания», он сказал CNN Андерсону Куперу, что опасность может резко измениться уже в 2027 или 2028 году.

Ключевой момент, по словам Коксона, наступит, когда ИИ-системы станут способны сами выполнять исследования в области ИИ, позволяя одному поколению моделей помогать создавать все более мощных преемников.

Эта петля обратной связи может вызвать то, что Коксон назвал «взрывом интеллекта», потенциально производя системы, значительно умнее людей.

На вопрос Купера, как такая технология может на самом деле уничтожить человечество, Коксон сказал, что сценарий звучит как научная фантастика, но «пугающе реален».

Он указал на возможные атаки, включающие «взлом критической инфраструктуры» и «биооружие уровня вымирания», как примеры того, как значительно более способные автономные системы могут превратить свой интеллект в реальное разрушение.

Коксон сказал, что текущие ИИ-системы могут уже быть способны причинить серьезный кибер- или инфраструктурный ущерб, но им не хватает возможностей, необходимых для того, чтобы перехитрить человечество в масштабе, угрожающем вымиранием.

Его беспокоит, как быстро это может измениться.

В отдельном интервью Fox News Брету Байеру Коксон сказал, что непосредственная угроза захвата ИИ была «минимальной», но предупредил, что рекурсивное самоулучшение может наступить уже в следующем году.

Некоторые люди, работающие в этой области, считают, что переход может произойти примерно через шесть месяцев, сказал он Байеру.

Коксон предупредил, что неконтролируемая гонка среди разработчиков может в конечном итоге привести к захвату ИИ к концу десятилетия.

Он назвал продвинутый ИИ «возможно, самой опасной технологией, которую человечество когда-либо создавало».

Несмотря на мрачные предупреждения, Коксон сказал, что катастрофа не неизбежна.

Вместо этого он утверждал, что ИИ-компании заперты в гонке, в которой даже разработчики, искренне обеспокоенные технологией, боятся замедлиться, потому что конкуренты — включая rival компании или страны — могут продвинуться вперед.

На CNN Коксон сказал, что ИИ-разработчики «умоляют о регулировании».

Он обратился с аналогичной просьбой на Fox, призывая к международному сотрудничеству, чтобы страны и компании «не загнали себя в вымирание».

Коксон сказал, что сама проблема безопасности «вполне решаема», если правительства и ИИ-компании смогут найти способ замедлить конкурентную гонку к все более мощным системам.

Гонка, которую можно остановить

Джейкоб Коксон — не паникер. Он — исследователь, который годами работал над тем, чтобы сделать ИИ безопасным. И его слова звучат как предупреждение, а не как пророчество.

Его главный тезис прост: проблема решаема. Но для этого нужно остановиться. Гонка, в которой участвуют OpenAI, Anthropic, Google и другие, ведет к катастрофе. Если не замедлиться, к концу десятилетия ИИ может выйти из-под контроля.

Коксон говорит о «значительной вероятности» гибели человечества. Это невообразимо высокая цифра. Для сравнения: вероятность погибнуть в автокатастрофе за всю жизнь — около 1%. Исследователь говорит: шанс конца всего — в десять раз выше.

Коксон призывает к международному регулированию. Не потому, что он не верит в технологию, а потому что он в нее верит. Он видит ее потенциал — «на пороге огромных открытий». Но он также видит риск.

Гонка вооружений в ИИ опаснее ядерной. Ядерное оружие требует ресурсов, инфраструктуры, государства. ИИ может быть создан небольшой группой, даже одним человеком. И его нельзя контролировать после создания.

Коксон прав: сотрудничество — единственный выход. Но сотрудничество требует доверия. А доверие в эпоху соперничества — редкий ресурс.

Пока технологические лидеры говорят о рисках, но продолжают разработку. Пока правительства обсуждают регулирование, но не принимают законов. Пока общество не осознает масштаб угрозы.

Коксон уволился, чтобы привлечь внимание. Но услышат ли его?

Источники: NBC News, CNN, Fox News, интервью Джейкоба Коксона с Томом Лламасом, Андерсоном Купером и Бретом Байером.