Генеральный директор Anthropic Дарио Амодеи говорит, что нашёл внешнюю команду, которая может регулировать ИИ и гарантировать, что он не уничтожит мир, — и так совпало, что у неё глубокие связи с его бывшим соседом по дому и движением «пробуждённого эффективного альтруизма», уже замешанным в одном крупном технологическом крахе.
В сенсационном эссе под названием «We Must Pace the Frontier» Амодеи утверждал, что ведущие ИИ-фирмы должны обязаться допустить «встроенных сторонних оценщиков» из некоммерческой организации Model Evaluation and Threat Research (METR), которые будут иметь «доступ на уровне сотрудников» для надзора за усилиями по безопасности и гарантии того, что передовые ИИ-модели не превратятся в Терминатора и не уничтожат человечество.
Будущие «Джоны Конноры» из METR делают вид, что полностью независимы, но группа ведёт свои корни напрямую к ключевым фигурам «эффективного альтруизма», чьи кремниевые адепты когда-то включали опального крипто-босса Сэма Бэнкмана-Фрида, одного из крупнейших ранних инвесторов Anthropic.
«Эффективный альтруизм» — философия, ставшая популярной среди кремниевых «властелинов вселенной», — выступает за использование разума и состояний, накопленных лучшими и ярчайшими технологами, чтобы приносить максимум пользы человечеству в долгосрочной перспективе.
В прошлом его использовали для оправдания зарабатывания как можно большего количества денег с идеей, что потом можно пожертвовать больше, чтобы сделать больше добра, — хотя движение получило большой удар, когда один из его самых известных сторонников, Бэнкман-Фрид, увидел, как его крипто-империя рухнула на фоне обвинений в мошенничестве, отправивших его в тюрьму.
Глубокие связи с EA
Пересечение METR и Anthropic полно потенциальных конфликтов интересов, по мнению критиков.
METR выделилась из технологического инкубатора Alignment Research Center (ARC), связанного с «эффективным альтруизмом», который возглавляет исследователь ИИ Пол Кристиано. Он был соседом Амодеи по дому, коллегой и соавтором исследований в 2010-х, когда они оба работали в OpenAI — крупнейшем конкуренте Anthropic.
Кристиано также был одним из первых пяти попечителей Long-Term Benefit Trust компании Anthropic.
Один из сотрудников METR — Аджея Котра, жена Кристиано и крупный организатор в мире EA.
Основатель и генеральный директор группы — Бет Барнс, которую нанял Кристиано и которая участвовала в движении EA в колледже.
Главный научный сотрудник Хьялмар Вейк и сотрудники Меган Киннимент и Пип Арнотт — все пришли из одного исследовательского кластера Оксфордского университета, крупного поставщика кадров для EA.
По телефону представитель METR признал, что у некоммерческой организации много пересечений с «эффективным альтруизмом», но настаивал, что её сотрудники имеют разнообразный набор идеологических взглядов. Они обязаны раскрывать конфликты интересов, например, когда сотрудники владеют акциями фирм, которые их привлекают для проверки.
«Мы не считаем, что какая-либо небольшая группа должна иметь власть над тем, что происходит с ИИ, и наша цель — вывести информацию изнутри этих компаний в публичное пространство: внешние следователи могут помочь пролить больше света», — говорится в заявлении представителя METR.
«Наши финансисты не имеют права голоса в проектах, над которыми мы работаем, и мы не принимаем никакого финансирования от ИИ-компаний или их сотрудников».
Амодеи, пообещавший отдать 80% своего личного состояния, имеет глубокие связи с EA. Его сестра Даниэла вышла замуж за Холдена Карнофски, основателя двух крупных EA-некоммерческих организаций.
Участие METR, вероятно, будет неприемлемо для администрации Трампа, у которой за последний год были натянутые отношения с Anthropic, и которая также выражала сильный скептицизм в отношении так называемых ИИ-«сторонников конца света», утверждающих, что технология находится на грани катастрофы.
«METR — это по сути Anthropic в другой форме», — сказал The Post во вторник источник, знакомый с мышлением Белого дома.
Многомиллионный сбор средств
Одержимые приверженцы «эффективного альтруизма» верят в направление своего богатства на цели, которые они считают наиболее важными для человечества, включая изменение климата и строгое регулирование ИИ.
С момента основания METR и её аффилированные структуры получали финансирование от EA-тяжеловесов, таких как демократический мегадонатор Дастин Московиц и соучредитель Skype Яан Таллинн — оба являются инвесторами Anthropic.
В августе METR объявила, что привлекла 71 миллион долларов нового финансирования от внешних инвесторов за предыдущие шесть месяцев.
Survival and Flourishing Fund Таллинна, филантропическая группа, зарезервировала до 752 000 долларов финансирования для поддержки METR с момента её основания, включая 324 000 долларов в виде общих денежных средств и 428 000 долларов в виде соответствующего обязательства, согласно публичным записям.
Кроме того, Coefficient Giving Московица — ранее известная как Open Philanthropy до поспешного ребрендинга в прошлом году — дала 1 515 000 долларов инкубатору METR, ARC, в 2022 году. METR изначально была известна как ARC Evals, прежде чем выделиться в независимую некоммерческую организацию и сменить название на текущее в 2023 году.
METR не принимает никакой компенсации от ИИ-лабораторий за свою работу, а также не принимает пожертвования от руководителей или сотрудников ИИ-компаний, сказал представитель METR. В случае пожертвования Московица в ARC в 2022 году чиновник сказал, что финансирование было изолировано и не использовалось для операций METR.
Это вряд ли успокаивает критиков.
«Говорить, что ты хочешь, чтобы тебя проверяли „независимые“ люди из METR, — это полная шутка, — сказал Перри Метцгер, председатель Alliance for the Future, вашингтонской группы по политике в области ИИ. — Это люди, которых финансируют твои приятели. Это совершенно смехотворно.
Если бы вы завтра вышли, и вы крупный банк, и ваши аудиты проводила бы организация, состоящая целиком из ваших бывших сотрудников, финансируемая теми же инвесторами, которые инвестируют в вас, знаете, что федералы с вами сделали бы? — добавил он. — Это было бы положительно средневеково».
Неожиданное предложение Амодеи, опубликованное в прошлую субботу утром, появилось всего через несколько дней после того, как Джейкоб Коксон, исследователь Anthropic, ранее работавший в OpenAI, внезапно уволился из фирмы, предупредив, что оба ИИ-гиганта «играют с нашими жизнями», добиваясь прогресса без должного надзора.
Без мер защиты Амодеи предупредил, что интернет может быть захвачен ИИ-ботами в течение шести-двенадцати месяцев, «потенциально причинив ущерб в сотни миллиардов долларов».
«Хватит притворяться»
Предупреждения о конце света получили резкую отповедь в некоторых уголках технологического и политического мира: президент Трамп заявил, что они являются «мистификацией», а меньшие ИИ-стартапы утверждали, что такие лидеры, как Anthropic и OpenAI, просто пытаются переписать закон в свою пользу.
Среди скептиков был бывший руководитель по вопросам ИИ в Белом доме Дэвид Сакс, призвавший Амодеи «перестать притворяться, что METR независима, когда она переплетена с инвесторами и сотрудниками Anthropic».
«Больше всего — перестаньте притворяться, что мотивация замедлиться является чисто альтруистической, — добавил он. — Вы сталкиваетесь с огромной ответственностью за продукт, если ваши продукты позволят действительно разрушительную кибератаку».
Также неясно, пройдёт ли стремление ИИ-индустрии к саморегулированию проверку у американских регуляторов.
Председатель Федеральной торговой комиссии Эндрю Фергюсон предупредил, что «все должны быть глубоко подозрительны» к любой просьбе предоставить ИИ-компаниям антимонопольное исключение для координации усилий по безопасности.
«Я скажу в целом, однако, что если компании одновременно приходят в Вашингтон и просят целый ряд регуляций и антимонопольное исключение, все мои сигнальные колокола звонят», — сказал Фергюсон во вторник на мероприятии в Джорджтаунском университете.
Согласно предложениям Амодеи, сторонние оценщики — которых некоторые сравнивали с ядерными инспекторами — будут «проверять соблюдение практик и обязательств по безопасности, сообщать об инцидентах и помогать оценивать выравнивание не только готовых ИИ-моделей, но и тренировочных конвейеров и процессов», согласно его эссе.
«Anthropic в одностороннем порядке обязуется сделать этот шаг сейчас, — написал Амодеи. — Мы намерены сделать это частью более широкого толчка к удвоению усилий в нашей работе по безопасности и выравниванию».
Сэм Альтман из OpenAI сказал, что согласен с Амодеи в «необходимости задать темп фронтиру», добавив, что «обязательство иметь независимых оценщиков с доступом на уровне сотрудников — отличная идея, и мы сделаем то же самое». Он не упомянул METR.
Anthropic отказалась от комментариев.
Источники и материалы для дальнейшего чтения
Материал подготовлен на основе публикации New York Post, эссе Дарио Амодеи «We Must Pace the Frontier», заявлений представителя METR, комментариев Перри Метцгера (Alliance for the Future), Дэвида Сакса, Эндрю Фергюсона (FTC), Сэма Альтмана (OpenAI), публичных записей о финансировании METR и ARC, а также данных о связях сотрудников METR с движением «эффективного альтруизма».
В нашем Telegram‑канале, вы найдёте новости о непознанном, НЛО, мистике, научных открытиях, неизвестных исторических фактах. Подписывайтесь, чтобы ничего не пропустить.
Поделитесь:
Оставьте Комментарий