Оптимист и пессимист об ИИ: дебаты о сверхразуме, Китае и «шутке саморегулирования»

Исследователи искусственного интеллекта считают, что мы можем создать «новый вид» сверхразумных машин, но предостерегают от того, чтобы США позволили Китаю получить преимущество. Два давних исследователя — один широко considered «оптимистом» в области ИИ, а другой «пессимистом» — согласились на дебаты, организованные The Post, где они обсудили недоверие к Китаю, как избежать катастрофы и то, что «саморегулирование — это шутка».

«Я ошибался, — сказал The Post Орен Эциони, профессор Вашингтонского университета и предприниматель в области ИИ. — Я всё ещё сохраняю некоторый оптимизм. Но теперь я вижу, что вещи, которые, как я думал, были очень, очень далеко, приближаются быстро, с темпом, который мы, возможно, не сможем предвидеть». Макс Тегмарк и Орен Эциони обсуждали будущее ИИ в видео для New York Post.

Тегмарк, основатель Института будущего жизни, удивлён, что власти не вмешались, добавляя: «Я никогда не представлял, что люди в Америке, обладающие наибольшей властью, позволят компаниям подойти так близко к вещам, над которыми можно потерять контроль, без вмешательства. Компании просто открыто говорят: что ж, мы собираемся построить сверхразум. Это может быть новый вид». Его беспокоит момент, когда мы достигнем «рекурсивного самосовершенствования», или точки, в которой ИИ сможет начать улучшать себя и воспроизводиться: «Поворотный момент — это… когда он станет лучше людей в исследовании ИИ».

Однако оба согласились, что самый простой способ удержать ИИ от выхода за грань — это изолировать его, с разными машинами, выполняющими разные задачи. Эциони давно является сторонником моделей ИИ с конкретным, узким, доменным интеллектом, а не всеобъемлющих супер-агентов. «Я думаю, что нам нужно… проектировать системы тщательно и разумно, чтобы мы могли их ограничить», — сказал он. Тегмарк согласился: «По умолчанию машинам следует давать наименьший объём доступа и власти, необходимый им для выполнения их работы. Вы не даёте каждому уборщику в Пентагоне ядерные коды… Беспилотный автомобиль… на самом деле ничего не знает о биологическом оружии, потому что ему это не нужно, и у него нет ядерных кодов, и, что самое важное, у него нет сверхчеловеческих способностей к убеждению».

Администрация Трампа остаётся твёрдой в своей приверженности не вмешиваться в сдерживание ИИ, отмечая, что ведущие компании должны сами останавливать себя от создания технологий, которые они не могут контролировать. Однако Трамп объявил 19 сентября, что назначит нового советника по ИИ и создаст «AI Force». Такие компании, как Anthropic и OpenAI, громко призывали к большему регулированию в последний месяц, что, по словам меньших компаний в этой области, вероятно, задушит их прогресс. Генеральный директор Anthropic Дарио Амодеи также выдвинул план, согласно которому ведущие компании должны выбирать, кто их регулирует, что и Тегмарк, и Эциони сочли нелепым.

«Саморегулирование — это шутка, — сказал Эциони. — Мы видели это с компаниями социальных сетей и тем, что они сделали. Это момент большой табачной индустрии для высоких технологий, и мы не хотим тратить ещё 20 лет, чтобы выяснить, что компании ИИ не проявили должного уровня самодисциплины». Тегмарк и Эциони — который соучредил компанию, приобретённую Anthropic ранее в этом году, — оба выступают за регуляторный совет, аналогичный FDA, чтобы гарантировать, что разработчики ИИ создают технологии, полезные, а не вредные для человечества. «Начните относиться к компаниям ИИ как к другим компаниям, которым просто нужно соответствовать некоторым базовым стандартам, прежде чем они смогут разбогатеть на них, — сказал Тегмарк. — Это направит все плюсы — хорошие стороны капитализма — на то, чтобы заставить сами компании приложить много усилий для создания более безопасного продукта».

Тегмарк сказал, что после многих лет, когда он становился всё более пессимистичным относительно будущего человечества, теперь он чувствует себя «гораздо более оптимистично», поскольку беспокойство об ИИ становится мейнстримом. Ранее в этом месяце он созвал Pro-Human Assembly в Вашингтоне, где все — от Ричарда Блюменталя до Берни Сандерса и Стива Бэннона — собрались в согласии, что нам нужно регулировать ИИ. «Я был на сцене, и мне довелось представить Берни Сандерса и Стива Бэннона одного за другим, чего не было в моей карточке бинго», — сказал он.

Но Эциони вмешался: «Вы правы, что удивительно, что эти двое объединились. Но в то же время можете ли вы представить двух худших демагогов?.. Я в ужасе именно от того, о чём говорит Макс: не становится ли [регулирование ИИ] политическим коньком, который политики будут цинично использовать в своих целях?» Это было их ироничное разногласие: хотя они согласны, что регулировать ИИ не нужно, когда-то пессимистичный Тегмарк оптимистичен относительно пути, по которому мы идём, а когда-то оптимистичный Эциони более осторожен.

Эциони предупредил, что если мы слишком увлечёмся популистской реакцией, мы можем прыгнуть к бесполезным, близоруким решениям, которые в конечном итоге дадут обратный эффект. «Я в ужасе от того, что делает демократический процесс, особенно когда он намерен регулировать то, чего мы не понимаем, особенно когда он делает это из страха, — сказал Эциони, подчёркивая, что верит, что демократия — лучшая политическая система, хотя и несовершенная. — Нам нужны хорошие решения, а не популярные. Я беспокоюсь больше о человеческой глупости… чем об искусственном интеллекте».

Самая большая проблема, по словам Эциони, — это то, что спешка Америки с регулированием ИИ может дать Китаю возможность превзойти наши возможности. «Я вообще не доверяю китайцам, — сказал Эциони. — Ничто не сделало бы их счастливее, чем то, что мы сами себя подрезаем, пока [они занимают] переднее место… Мы должны помнить о враждебной гонке с Китаем, а не обманывать себя, что наши интересы совпадают». Но Тегмарк не согласился и выразил убеждение, что Китай должен прийти к тому же выводу, что сверхразумный ИИ противоречит интересам всех наций, независимо от того, кто его разрабатывает. «Мы не обязаны доверять Китаю, — сказал он. — Мы не обязаны убеждать китайское правительство предотвратить то, чтобы их собственные компании делали что-то сверхбезумное, вызывая потерю контроля. Они всё равно захотят это сделать». Для Тегмарка это проблема, требующая решений на уровне всего человечества. Но у Эциони меньше веры в то, что человечество сможет превзойти свои популистские тенденции и международные конфликты, чтобы решить эту надвигающуюся проблему.

Это была fascinating инверсия — оптимист оказался пессимистом, а пессимист — оптимистом, — но это в конечном итоге доказывает, что ИИ развивался с поистине дезориентирующей скоростью для всех, включая экспертов.

Дебаты между Эциони и Тегмарком отражают более широкий раскол в сообществе исследователей ИИ и политиков. С одной стороны, есть те, кто считает, что регулирование необходимо для предотвращения катастрофических рисков. С другой — те, кто опасается, что чрезмерное регулирование затормозит инновации и передаст преимущество Китаю.

«Мы находимся в точке, когда технология развивается быстрее, чем наши институты способны её осмыслить, — говорит профессор политологии из Стэнфордского университета. — Это создаёт вакуум, который заполняется либо корпоративным саморегулированием, либо политическими играми. Ни то, ни другое не является надёжным решением».

Трамп, со своей стороны, похоже, склоняется к минимальному вмешательству. Его новый советник по ИИ, как ожидается, будет выступать за дерегулирование и ускорение разработки. «Мы не можем позволить себе замедлиться, потому что Китай не замедлится, — сказал Трамп на недавней пресс-конференции. — Если мы начнём ставить палки в колёса нашим компаниям, через пять лет мы будем покупать китайские ИИ-системы».

Однако критики указывают, что такой подход может привести к катастрофическим последствиям. «Мы уже видели, как социальные сети вышли из-под контроля, — говорит бывший сотрудник Facebook, ставший критиком технологий. — Мы видели, как алгоритмы усилили поляризацию, распространили дезинформацию и подорвали демократию. ИИ может сделать всё это в тысячу раз хуже. Если мы не начнём регулировать сейчас, будет слишком поздно».

Международные организации также пытаются вмешаться. ООН создала рабочую группу по ИИ, которая должна представить рекомендации к концу 2027 года. Европейский союз уже принял закон об ИИ, который устанавливает обязательные требования для моделей с высоким уровнем риска. Однако США, Китай и другие крупные игроки пока не присоединились к этим усилиям.

«Мы находимся в ситуации, когда технология не знает границ, а политика знает, — говорит дипломат из Брюсселя. — Это создаёт проблему. Если одна страна введёт строгие правила, а другая нет, компании просто переедут в более благоприятную юрисдикцию. Нам нужно глобальное сотрудничество, но мы далеки от него».

Пока дипломаты спорят, ИИ продолжает развиваться. Новые модели становятся всё более мощными, а их создатели — всё более амбициозными. Некоторые компании уже заявляют о планах по созданию «сверхразума» — гипотетической формы ИИ, которая превзойдёт человеческий интеллект во всех областях.

«Мы не знаем, возможно ли это вообще, — говорит Тегмарк. — Но если это возможно, мы должны быть готовы. И готовность означает не только технологические решения, но и политические, этические и социальные. Мы должны решить, какое будущее мы хотим, прежде чем оно будет решено за нас».

Эциони, однако, предупреждает, что чрезмерная осторожность может быть так же опасна, как и безрассудство. «Если мы замедлимся, а Китай нет, мы проиграем, — говорит он. — И тогда у нас не будет ни свободы, ни безопасности. Мы должны найти баланс между регулированием и инновациями. Это сложно, но это необходимо».

Дебаты между оптимистом и пессимистом, которые поменялись ролями, возможно, являются лучшей иллюстрацией того, насколько сложным и неопределённым является будущее ИИ. И, возможно, именно эта неопределённость делает его таким захватывающим — и таким пугающим.

Источники: New York Post, Институт будущего жизни, Anthropic, OpenAI, заявления Орена Эциони, Макса Тегмарка, Дарио Амодеи, Дональда Трампа и других официальных лиц.