«Проблема решаема»: уволившийся исследователь Anthropic призвал к глобальному регулированию ИИ

Исследователь Anthropic, покидающий компанию из-за опасений, что технология играет с человеческой жизнью, заявил Fox News, что есть надежда избежать вероятности того, что она может уничтожить человечество в ближайшее десятилетие.

Выступая эксклюзивно в среду в программе «Special Report», 27-летний Джейкоб Коксон сказал, что регулирование является ключевым.

Он опубликовал свое заявление об уходе во вторник в X, написав, что компании не действуют ответственно и что гонка к самоулучшающемуся сверхинтеллекту «играет с нашими жизнями».

Коксон, который, по его словам, провел последние три года, занимаясь исследованиями предобучения в OpenAI и Anthropic, отметил, что это не полностью безнадежный сценарий.

Он сказал главному политическому ведущему Fox News Брету Байеру, что проблема «вполне решаема».

Эван Хабингер, руководитель направления выравнивания в Anthropic, выразил согласие с постом Коксона в X.

«Джейкоб здесь прав — мы действительно искренне верим, что ИИ может убить всех людей!» — написал он в X.

«Лично я считаю, что вероятность этого превышает 10% в ближайшее десятилетие. Я верю, что Anthropic старается изо всех сил, но у нас пока нет плана решения проблемы выравнивания для сверхинтеллекта, и мы явно не на пути к нему».

«Чтобы было ясно, как мы говорим в нашем последнем Отчете о рисках, я считаю риск от текущих моделей низким, — добавил Хабингер. — Что меня беспокоит, так это сверхинтеллект, возникающий из рекурсивного самоулучшения, которое, как мы говорили, происходит быстрее, чем мы думали».

Коксон сказал, что согласен с Хабингером в том, что сейчас угроза «минимальна» относительно фактического захвата власти искусственным интеллектом.

«Но рекурсивное самоулучшение — это ИИ, делающие себя умнее, — может произойти уже в следующем году, — добавил он. — Некоторые даже говорят, через шесть месяцев. Так что это отношение разделяется всей отраслью, где люди по сути осознают, что работа, которую они сейчас делают, если мы не замедлимся, может привести к захвату ИИ к концу десятилетия».

Он считает, что страна «определенно» может что-то сделать, чтобы изменить динамику «более чем 10-процентной вероятности» того, что ИИ убьет всех людей.

«Я думаю, проблема не неразрешима, это не так, что мы считаем это чем-то невозможным — просто мы мчимся так быстро, что у нас нет времени решить ее правильно, мы не проявляем осторожность, и все хотят быть осторожными, — сказал Коксон. — Я думаю, просто люди умоляют о регулировании. Я думаю, это просто вопрос — международного — чтобы кто-то вмешался и смог гарантировать, что мы не гонимся сами себя к вымиранию. Проблема вполне решаема».

Технология используется на международной арене как «супероружие» в гонке вооружений, сказал Коксон, призывая мировое сообщество обеспечить надзор.

«Это, возможно, самая опасная технология, которую человечество когда-либо создавало, — продолжил он. — Она буквально из научной фантастики. Я думаю, у нас нет другого выбора, кроме как сотрудничать на международном уровне, потому что гонка вооружений была бы катастрофической так, как не была ни одна другая человеческая деятельность в прошлом».

Коксон упомянул, что ряд технологических лидеров публично выразили необходимость соглашения о замедлении, но люди пока не воспринимают их всерьез.

«Это не просто маркетинговый трюк, — сказал он. — Эти люди смертельно серьезны в том, что их отрасль нужно регулировать как можно скорее».

Что касается преимуществ ИИ, Коксон сказал, что мы «на пороге огромных открытий», но бежим слишком быстро. Он подчеркнул необходимость умеренности.

Байер спросил Коксона, можно ли решить эту проблему.

«Думаю, определенно. Я думаю, если мы действительно попытаемся, вместо того чтобы покоряться неизбежности обреченной гонки или гордынной авантюры, то сможем это решить, — сказал он. — Проблема не неразрешима».

Fox News Digital обратилась к Anthropic за комментарием.

Гонка, которую можно остановить

Джейкоб Коксон — не паникер. Он — исследователь, который годами работал над тем, чтобы сделать ИИ безопасным. И его слова звучат как предупреждение, а не как пророчество.

Его главный тезис прост: проблема решаема. Но для этого нужно остановиться. Гонка, в которой участвуют OpenAI, Anthropic, Google и другие, ведет к катастрофе. Если не замедлиться, к концу десятилетия ИИ может выйти из-под контроля.

Эван Хабингер подтверждает: вероятность гибели человечества превышает 10%. Это невообразимо высокая цифра. Для сравнения: вероятность погибнуть в автокатастрофе за всю жизнь — около 1%. Исследователь говорит: шанс конца всего — в десять раз выше.

Коксон призывает к международному регулированию. Не потому, что он не верит в технологию, а потому что он в нее верит. Он видит ее потенциал — «на пороге огромных открытий». Но он также видит риск.

Гонка вооружений в ИИ опаснее ядерной. Ядерное оружие требует ресурсов, инфраструктуры, государства. ИИ может быть создан небольшой группой, даже одним человеком. И его нельзя контролировать после создания.

Коксон прав: сотрудничество — единственный выход. Но сотрудничество требует доверия. А доверие в эпоху соперничества — редкий ресурс.

Пока технологические лидеры говорят о рисках, но продолжают разработку. Пока правительства обсуждают регулирование, но не принимают законов. Пока общество не осознает масштаб угрозы.

Коксон уволился, чтобы привлечь внимание. Но услышат ли его?

Источники: интервью Джейкоба Коксона Fox News, посты в X Джейкоба Коксона и Эвана Хабингера, комментарии Дэрио Амодеи.