Скрытый баг в структуре глобальной цифровизации способен уничтожить всю человеческую цивилизацию

Все больше и больше стран принимают свои национальные программы по развитию искусственного интеллекта. Активно развиваются технологии различных интернет-вещей и систем вроде умного дома. Первые зачатки тотальной цифровизации экономики начали появляться с появлением первых криптовалют. Затем многие страны объявили о планах перевести свои национальные валюты в цифровую форму.

Например, в Китае цифровой юань уже проходит тестирование, хотя пока в ограниченных рамках.

Тенденция очевидна и понятна: через 10-20 лет человечество вступит в информационную эру, цифровизация станет неотъемлемой частью нашей цивилизации, и у каждого человека будет свое цифровое место в этой системе и он будет оставлять свой след от любых действий.

Все виды ужасов (вроде появления злонамеренного искусственного интеллекта, восстания машин против людей и т. Д.) Слишком умозрительны, а точнее даже фантастичны.

Есть угроза гораздо более реальная и зловещая, чем события, показанные в художественном фильме «Терминатор».

Наверное, каждый продвинутый пользователь ПК сталкивается с ситуацией, когда исправный компьютер может внезапно зависнуть, перезагрузиться или вообще выключиться. На мониторе внезапно появляется «синий экран смерти», а в играх и программах выскакивают всевозможные баги.

В В 99% случаев это программная ошибка или недоработка кода. Однако в 1% случаев это самостоятельная и больше не повторяющаяся аномалия..

Подобная аномалия — это выход из строя абсолютно рабочего устройства, в этом случае невозможно определить причину ошибки на программном уровне. Поэтому проследить какую-либо закономерность ее проявления и предотвратить возникновение такой аномалии в будущем невозможно.

Микроэлектронная промышленность начала сталкиваться с такими аномалиями еще в 1970-х годах, когда интегральные схемы стали критически малыми.

Практически сразу стало очевидно, что источником таких отказов являются высокоэнергетические частицы космического излучения. Попав в интегральную схему, частица может полностью вывести ее из строя, вызвав вторичное излучение в отдельных элементах схемы (но все же, к счастью, в подавляющем большинстве случаев частицы пролетают по цепи, не причиняя физического вреда).

Чаще всего космические лучи изменяют потенциал ячеек памяти микросхемы, например, заменяя один бит информации с нуля на единицу.

Этот эффект был назван «беспорядком единичного события» (SEU).

В зависимости от того, где именно и какое влияние на микросхему оказала частица, последствия этого «единичного отказа» также различаются. Программа может либо просто выдать критическую ошибку данных, либо автоматически перезагрузиться, пытаясь восстановить свою работоспособность, либо продолжить работу, выдавая уже ошибочные данные, что может спровоцировать каскадный эффект набора ошибок.

И хорошо, если эта программа будет изолированной (инверсный бит можно переписать на правильный). А если он открыт для общего доступа и будет служить источником данных для выполнения других программ или подпрограмм, отвечающих, например, за безопасное выполнение процессов, опасных для человека или общества?

Ситуация усугубляется уменьшением размеров интегральных схем. Таким образом, в схемах, изготовленных по технологии 22 нм, частота появления «одиночных эффектов» увеличивается на порядок по сравнению со схемами на основе техпроцесса 130 нм. Одна космическая частица размером 22 нм способна поразить не один, а сразу несколько логических элементов схемы. Также растет число случаев необратимого повреждения микросом.

Особенно остро эта проблема стоит сегодня в космической отрасли. Самая частая причина выхода из строя спутников — отказ бортовой электроники.

Наша бытовая электроника, как правило, не пригодна для работы в космосе, она почти в 100% случаев выходит из строя в течение короткого периода времени. Спутникам нужно проработать несколько лет. Поэтому вся космическая электроника изготавливается по специальным стандартам, она максимально защищена и дублируется несколькими параллельными процессами. Поэтому его цена нереально высока и не похожа на массовое распространение и использование.

Например, на некоторых спутниках используются интегральные схемы на основе технологии KNS (кремний на сапфире), обеспечивающей радиационную стойкость в условиях космоса.

Рассмотрим наиболее социально значимые случаи отказов компьютеров из-за спонтанной смены битов:

— В 2003 году во время голосования в Бельгии: тогда «единовременное расстройство» из-за воздействия ионизирующей частицы изменило один бит информации с «0» на «1», что дало кандидату дополнительные 4096 голосов, добавив их к фактическим 514 голосам.

— В 2008 году частица ионизирующего излучения немного изменила информацию в инерциальном блоке навигации и управления полетом самолета Airbus A330, что привело к неверным данным об угле атаки, высоте и скорости полета. Автопилот самолета отреагировал на это резким рывком вниз с такой силой, что 119 пассажиров получили травмы различной степени тяжести. Кроме того, ошибка вызвала каскадный сбой в работе нескольких бортовых систем, что сделало невозможным безопасное продолжение полета.

За более чем 30 лет активного изучения этой проблемы не найдено надежного способа защиты электроники от одиночных частиц высоких энергий.

Такой сбой может случиться где угодно и когда угодно

Например, наиболее опасным, на мой взгляд, может быть появление ошибки в коде программы искусственного интеллекта, которая спровоцирует снятие важных программных блокировок (помните сами законы робототехники Айзека Азимова?). Ошибка в банковской системе, которая может привести к обнулению личного банковского счета, также будет очень неприятным сюрпризом.

Но что, если автономное такси будущего из-за системного сбоя врежется в столб с пассажирами? На судьбу спишут?

Универсальная цифровизация — как новый этап эволюции общества — может быть одним из этапов «великого фильтра».

Великий фильтр — это гипотеза, выдвинутая в 1996 году Робином Д. Хенсоном, призванная разрешить парадокс Ферми, который исходит из отсутствия видимых следов деятельности инопланетных цивилизаций, которые, по всем расчетам, должны были расселиться по всей Вселенной во время ее существования. существование.

Все эволюционные скачки — как физиологические, так и технологические — представляют собой своего рода «Великий фильтр», который цивилизация либо преодолевает, либо перестает развиваться. Что является наиболее серьезной преградой в виде главного «Великого фильтра», науке сегодня неизвестно. Возможно, цифровизация разумной цивилизации и есть препятствие.

Представьте себе общество, которое как минимум 50 лет живет в цифровом мире, виртуальной среде и информационном пространстве. И вдруг где-то поблизости (в космическом масштабе) вспыхивает сверхновая, ионизирующее излучение которой полностью разрушает привычный для человека мир.

Для нас такой сверхновой может быть звезда Бетельгейзе, которая, кстати, может взорваться в любой момент. Для биологической жизни на Земле взрыв этой звезды не будет представлять особой угрозы, чего нельзя сказать о современной электронике.

Несмотря на все это, цифровизация — необходимый этап, который должна пройти наша цивилизация, чтобы в тысячи раз повысить свою производительность при сохранении уровня потребления первичных ресурсов.

Нам остается только обезопасить как можно больше и распределить центры обработки данных таким образом, чтобы можно было избежать полного коллапса всей системы из-за незваных гостей в виде частиц космического излучения, удара чего даже лет 50 назад мы бы не заметили.