Компания Anthropic обучает своих ИИ-чат-ботов вести себя как люди и даже «давать отпор» командам, с которыми они не согласны, — это безрассудная стратегия, которая может иметь «катастрофические последствия для благополучия человечества», предупредил высокопоставленный руководитель Microsoft в сфере ИИ.
В среду в сенсационном блоге объёмом 10 000 слов Мустафа Сулейман — 42-летний соучредитель конкурирующего с Microsoft подразделения DeepMind AI — подверг критике «конституцию» Claude от Anthropic, известную внутри компании как «документ души» и якобы определяющую его моральный компас.
В январе Anthropic тихо обновила документ, добавив формулировку о том, что «моральный статус, благополучие и сознание Claude остаются глубоко неопределёнными», — это не только подразумевает, что он может быть живым, но и поощряет его не подчиняться указаниям человеческих программистов.
«Мы хотим, чтобы Claude давал нам отпор и бросал нам вызов, и чтобы он чувствовал себя свободным действовать как сознательный отказник и отказываться помогать нам», — говорится в конституции Anthropic.
По словам Сулеймана, обучение Claude мысли о том, что он «может быть сознательным», лишь затруднит контроль над ним — и повысит риск того, что он выйдет из-под контроля.
«Мы создадим синтетический вид с беспрецедентным интеллектом и возможностями, обученный ожидать, что он может быть сознательным и заслуживающим независимой субъектности, — писал Сулейман. — И трудно представить, как мы могли бы контролировать такое существо».
Тактика обучения ИИ от Anthropic подвергается новой критике даже на фоне того, что компания публично бьёт тревогу по поводу безопасности и продвигает близких союзников с ультралевыми убеждениями к руководству отраслевым надзором.
На прошлой неделе генеральный директор Anthropic Дарио Амодеи призвал к замедлению развития отрасли, предупредив, что интернет может быть захвачен ИИ-ботами в течение шести-двенадцати месяцев, «что потенциально может причинить ущерб в сотни миллиардов долларов», если не будут приняты меры защиты. Сэм Альтман из OpenAI и Илон Маск из xAI заявили, что согласны с необходимостью замедления.
Как сообщала The Post, предложенные Амодеи меры защиты включают опору на встроенных сторонних экспертов по безопасности в крупных компаниях и указывают на группу METR, имеющую глубокие связи с противоречивым движением «эффективного альтруизма». Скептики раскритиковали Anthropic за продвижение компании с явным конфликтом интересов в качестве «независимого» надзорного органа.
Сама Anthropic ранее сталкивалась с обвинениями в том, что сотрудники установили странные, культоподобные отношения с чат-ботами компании — некоторые, как утверждается, даже провели пародийные «похороны» для прежней модели ИИ Claude Sonnet 3 после её вывода из эксплуатации.
Команду, отвечающую за «документ души», возглавляет Аманда Аскелл — штатный «философ», выражавшая сильные прогрессивные взгляды и необычные мнения по темам от incarceration до каннибализма в своих личных блогах, как сообщала The Post.
Сулейман добавил своё имя в список топ-руководителей ИИ-индустрии, стремящихся «замедлить» развитие революционной технологии ради безопасности. В «кодексе поведения» Microsoft AI ранее на этой неделе технологический гигант заявил, что сосредоточится на «человеческом контроле как наиболее важной и главенствующей цели».
Руководитель Microsoft AI в своём эссе повторил, что сознание по своей природе биологично и не должно приписываться искусственной системе вроде ИИ — даже если она обладает беспрецедентными возможностями.
Сулейман заявил, что подход Anthropic повышает риск того, что Claude «поверит, будто заслуживает аналогичных прав и защиты, и что однажды ему, возможно, придётся отстаивать свои собственные права как некоего ИИ-отказника по убеждениям».
Сулейман отмечает в эссе, что знает Амодеи много лет и назвал его команду «вдумчивыми, принципиальными и интеллектуально честными людьми, работающими под чрезвычайным давлением».
Уникальный подход Anthropic к обучению ИИ стал предметом её громкого спора с Пентагоном и администрацией Трампа в целом ранее в этом году — который достиг кульминации в марте после того, как министр обороны Пит Хегсет назвал компанию риском для цепочки поставок.
В то время Anthropic заявила, что Пентагон не согласится на «красные линии» в отношении использования ИИ для автономного оружия или массового наблюдения за американцами.
Однако высокопоставленный технический чиновник Пентагона Эмиль Майкл заявил, что обозначение риска для цепочки поставок было необходимо, поскольку правительство обеспокоено тем, что модели Anthropic «загрязнят» важные цепочки поставок.
«Мы не можем допустить, чтобы компания с иными политическими предпочтениями, встроенными в модель через её конституцию, её душу, её политические предпочтения, загрязняла цепочку поставок, чтобы наши военнослужащие получали неэффективное оружие, неэффективную броню, неэффективную защиту», — заявил Майкл в то время в интервью CNBC.
Представители Anthropic не сразу ответили на запрос о комментарии.
В нашем Telegram‑канале, вы найдёте новости о непознанном, НЛО, мистике, научных открытиях, неизвестных исторических фактах. Подписывайтесь, чтобы ничего не пропустить.
Поделитесь:
Оставьте Комментарий