«ИИ может убить нас всех к концу десятилетия»: исследователь Anthropic уволился с тревожным предупреждением

Исследователь одной из крупнейших и самых дорогих компаний в сфере искусственного интеллекта публично уволился, подняв тревогу о том, что технология «может убить нас всех к концу десятилетия».

Джейкоб Коксон, последние три года занимавшийся исследованиями предобучения в Anthropic и OpenAI, написал в X, что «ни одна из компаний не действует ответственно».

«Они мчатся прямо к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями», — написал он поздно вечером во вторник. Другие сотрудники компании поддержали его сообщение.

«Не стоит недооценивать силу этой технологии. Скоро это будут сверхчеловеческие системы, способные взломать что угодно, революционизировать любую область за одну ночь и приобрести реальную власть и ресурсы.

«Люди, создающие ИИ, искренне верят, что он может убить нас всех к концу десятилетия, — писал он, настаивая, что его предупреждение — "не маркетинговый трюк".

«Многие руководители и старшие исследователи будут смягчать формулировки в прессе, чтобы звучать разумно, — но я слышу, как те же люди выражают страх в частном порядке. Никакая другая деятельность человека не несет такого уровня опасности».

Коксон, три года занимавшийся исследованиями предобучения и в OpenAI, и в Anthropic, утверждал, что ни одна из компаний не действует ответственно.

«В Anthropic понимают ставки, но они заперты в гонке, чтобы прийти первыми — они считают, что никто другой не будет действовать ответственно, поэтому должны сделать это сами, несмотря на риск», — заявил он.

«Принять эту гонку и войти в "эндшпиль" — это гордыня, которая не должна запускаться из Slack частной компании».

«Я верю, что Anthropic старается изо всех сил, но у нас до сих пор нет плана решения проблемы выравнивания для сверхинтеллекта, и мы явно не на пути к нему».

Сверхинтеллект ИИ — гипотетический порог, при котором искусственный интеллект превосходит возможности даже самого одаренного человека во всех мыслимых областях, что, по мнению многих исследователей, представляет потенциальную экзистенциальную угрозу для человечества.

Признание изнутри

Коксон — не критик ИИ со стороны. Он — один из тех, кто его создает. И его слова звучат как признание.

Три года работы в OpenAI и Anthropic дали ему доступ к тому, что происходит за закрытыми дверями. Он слышал, как руководители выражают страх в частных разговорах, даже когда публично говорят о безопасности.

Его главный аргумент: компании понимают риск, но не могут остановиться. Гонка делает ответственные решения невозможными. Если ты замедлишься, конкурент не замедлится.

Это классическая дилемма заключенного в масштабе цивилизации. И Коксон говорит, что ставки слишком высоки, чтобы продолжать играть.

Anthropic, по его словам, «старается изо всех сил». Но усилий недостаточно. Плана нет. Пути к выравниванию сверхинтеллекта нет.

Для индустрии это тревожный сигнал. Когда люди, которые строят технологию, публично уходят, заявляя, что она может убить всех, — это не пиар. Это крик о помощи.

Для человечества это вопрос: кто контролирует гонку, если даже ее участники не могут остановиться?

Источники: публикация Джейкоба Коксона в X.