В свете повальной ИИфикации нейро-ассистентам отдаётся на откуп всё больше задач. И многие из этих задач, ни много ни мало, имеют стратегические значение или напрямую касаются вопросов жизни и смерти. В 2013 году, когда еще никто слыхом не слыхивал о нейронных моделях, кроме узкого кружка спецов, редактор и научный журналист Джордж Дворский опубликовал материал, довольно точно описывающий наши дни.
Что произойдёт в дни после рождения первого настоящего искусственного интеллекта? Автор: Джордж Дворский, журнал Gizmodo, 1 апреля 2013 года.
Если дела пойдут так и дальше, это может оказаться самым опасным временем в истории человечества. Это будет эпоха слабого и узкого искусственного интеллекта — крайне опасная комбинация, способная причинить колоссальный ущерб нашей цивилизации. Поэтому нам нужно быть готовыми.
Сначала определимся с терминами. Технологическая сингулярность, о которой вы, вероятно, слышали, — это появление рекурсивно самосовершенствующегося сверхчеловеческого искусственного общего интеллекта. Либо это развитие очень сильного ИИ — то есть общего искусственного интеллекта, не уступающего человеку в способности мыслить.
Предположительно, первым идею о стремительно развитии мышления и последующих за этим событиях высказал философ и ученый эпохи Просвещения маркиз Антуан де Кондорсе. В своем эссе “Эскиз исторической картины прогресса человеческого разума”, де Кондорсе проводит неразрывную связь между научным прогрессом и формированием человеческих прав, а также появления общества всеобщей справедливости. По его мнению, человеческие пороки диктуются исключительно невежеством, в противовес идеям Томаса Гоббса о человеке, как изначально порочном существе. Источник.

Но данная конкретная проблема связана с подъёмом слабого ИИ — экспертных систем, которые соответствуют человеческому интеллекту или превосходят его в какой-то узкой, определенной области, а не в более широких пластах знаний и экспертности. Предположительно, многие из таких систем будут работать вне человеческого понимания и контроля.
Но пусть вас не обманывает слово "узкий": ущерб, который такой ИИ может нанести отнюдь не слабый.
До сингулярности
Сингулярность часто тркактуют неправильно — как ИИ, который просто умнее людей, или как появление около-человеческого сознания внутри машины. Ни то, ни другое не верно. В немалой степени наш (текущий) ИИ уже превосходит человеческие возможности. Просто он недостаточно сложен и надёжен, чтобы нанести значительный ущерб нашей инфраструктуре. Проблемы начнутся тогда, когда в случае прихода сингулярности высоко генерализованный ИИ начнет последовательно совершенствовать сам себя.
Одним из первых образ сингулярности был описан Джоном Вудом Кэмпбеллом-младшим в его рассказе “Венец эволюции”. Машины, способные к самообучению, сыграли ключевую роль в спасении человеческой цивилизации, в итоге став преемниками человеческого вида. Источник.

И действительно, когда наступит сингулярность, это будет, по словам математика Ирвинга Джона Гуда, интеллектуальный взрыв — и он действительно обрушится на нас как бомба. Человеческий контроль навсегда будет отодвинут в сторонку, в какой бы форме это ни выразилось.
Катастрофа же или бедствие, вызванное ИИ до сингулярности, с другой стороны, будут локализуемы. Но лишь едва-едва. Такая катастрофа, вероятно, возникнет из-за экспертной системы или сверхсложного алгоритма, вышедшего из-под контроля. И беспокоит не столько его мощь, которая, безусловно, является значительной частью уравнения. Беспокоит скорее скорость, с которой он нанесет ущерб. К тому времени, как мы поймем, что происходит, могут случиться самые ужасные последствия.
Ирвинг Джон Гуд в сочинении «Размышления о первой ультраразумной машине» предположил, что сверхумная машина может начать создание еще более умных машин, оставив таким образом человечество далеко позади. Источник.

Узкий ИИ может вывести из строя нашу электросеть, повредить атомные электростанции, вызвать экономический коллапс глобального масштаба, направить не туда автономные транспортные средства и роботов, захватить контроль над фабрикой или военным объектом. Либо выпустить некий распространяющийся мор, от которого будет трудно избавиться, будь то в цифровой сфере или в реальном мире. Возможности устрашающе бесконечны.
Наша инфраструктура становится всё более цифровизованной и взаимосвязанной и, как следствие, всё более уязвимой. Через несколько десятилетий она будет хрупкой, как хрусталь, и при этом основная часть человеческой деятельности будет зависеть от нее напрямую. Такой расклад действительно возможен, все признаки налицо.
ЧП неизбежны
В 1988 году студент Корнеллского университета по имени Роберт Моррис написал программу, для определения размеров тогдашнего Интернета. Чтобы она работала, он снабдил программу несколькими хитрыми компонентами, включая способность использовать известные уязвимости в популярных утилитах, написанных под UNIX. Это позволяло программе успешно взламывать машины и затем копировать себя, заражая таким образом целые системы.
Роберт Моррис, создатель первого сетевого “червя”. Источник.

2 ноября 1988 года Моррис выпустил свою программу в мир. Она быстро распространилась на тысячи компьютеров, нарушив нормальную работу и подключение к Интернету на несколько дней. Причиненный ущерб оценивался на сумму от 10 000 до 100 000 долларов.
Прозванный «Червём Морриса», он считается первым червём в истории человечества и именно он побудил DARPA финансировать создание CERT/CC в Университете Карнеги-Меллона для предупреждения и реагирования на новый вид угрозы. Что касается самого Морриса, то ему предъявили обвинение по Закону о компьютерном мошенничестве и злоупотреблениях, оштрафовав на 10 000 долларов.
Самый важный вывод из данного инцидента совершенно ясен. Несмотря на наши лучшие намерения, аварии случаются. И по мере того, как мы продолжаем развивать и продвигать наши технологии, всегда будет вероятность, что они будут работать вопреки тому, что мы от них ожидаем. А может даже и вовсе выйдут из-под нашего контроля.
Со скоростью до миллисекунды
Действительно, непреднамеренные последствия — это одно. А вот локализуемость таких последствий — совсем другое. Наши технологии всё чаще работают на уровнях, превышающих наши возможности в реальном времени. Прекрасный пример этого явления — мир высокочастотной биржевой торговли (HFT).
Здание нью-йоркской фондовой биржи. Источник.

В HFT ценные бумаги торгуются в ускоренном режиме с использованием мощных компьютеров и алгоритмов. Одна инвестиционная позиция может длиться несколько минут, а то и несколько миллисекунд — за одну секунду может быть совершено до 500 транзакций. Такой компьютерный трейдинг способен привести к тысячам и тысячам транзакций в день, и каждая из них определяется сверхсложными скриптами. Люди-трейдеры, если их можно так назвать, просто сидят и наблюдают, не веря своим глазам в то, как торговля акциями летит на бешеных скоростях.
Помимо ботов одним из ключевых фигурантов в деле о “Молниеносном обвале” стал лондонский трейдер Навиндер Сарао. Охарактеризованный как “математически одаренный савант, предпочитавший компанию детей, нежели взрослых”, Сарао зарабатывал миллионы, живя в маленькой комнатке в доме своих родителей. Его ключевой тактикой была фиктивная торговля (bogus trading), суть которой заключается в размещении крупных фиктивных ордеров, которые отменялись до того, как их успевали выполнить — процедура как раз выполнялась с помощью бота. Из первоначально грозивших ему 380 лет тюремного заключения он отбыл лишь 1 год под домашним арестом. Источник.

«Раньше я мог объяснить клиенту, как была исполнена его сделка. Технологии сделали процесс торговли настолько запутанным и сложным, что я больше не могу этого сделать», — отметил Джим Даниган из PNC Wealth Management в статье для Markets Media.
Очевидно, что способность оценивать рыночные условия и быстро реагировать остаются весьма ценным активом. И действительно, согласно исследованию 2009 года, фирмы HFT составляли от 60 до 73% всего объёма торговли акциями в США, но по состоянию на прошлый год (т.е. 2012) эта цифра упала до 50%. Но HFT по-прежнему считается высокоприбыльной формой торговли.
16 ноября 2026 года представителемФРС США был поднят вопрос о том, что действия многочисленных ИИ-агентов могут привести к массовому оттоку средств из банковской сферы. По словам одного из ключевых руководителей ФРС Майкла Барра, ИИ в состоянии “молниеносно реагировать на разницу в доходности или же на сигналы стабильности”, таким образом провоцируя утечку огромного количества денег за доли секунды. Также, по сообщению портала Axios, ИИ-агенты были замечены в своевольным превышении полномочий, не смотря на инструкции пользователей. Источник.

На сегодняшний день самый значительный единичный инцидент, связанный с HFT, произошёл в 2:45, 5 мая 2010 года. В течение примерно пяти минут промышленный индекс Доу-Джонса упал более чем на 1000 пунктов (около 9%). На несколько минут исчезла рыночная стоимость в 1 триллион долларов. Около 600 пунктов восстановились через 20 минут. Сейчас это называют «Flash Crash 2010» — вторым по величине разворотом пунктов в истории и крупнейшим однодневным падением пунктов.
Инцидент побудил Грегга Э. Бермана, Комиссию по ценным бумагам и биржам США (SEC) и Комиссию по торговле товарными фьючерсами (CFTC) провести расследование. Следователи выдвинули ряд теорий, которых очень много и некоторые из них довольно сложны. Но их главной заботой было влияние HFT. Они определили, что коллективные усилия алгоритмов усугубили падение цен. Поскольку торговые боты стремились ликвидировать свои позиции и уйти с рынка перед лицом неопределённости, они просто агрессивно продавали активы.
Штаб-квартира Комиссии по ценным бумагам и биржам США. Источник.

В следующем году независимое исследование пришло к выводу, что технологии сыграли важную роль, но на этом история не заканчивалась. Рассмотрев Flash Crash (“Молниеносный обвал”) в деталях, авторы утверждали, что он стал «результатом новой динамики, действующей в текущей структуре рынка», ведущую роль в котором сыграла «токсичность ордеров». (То есть молниеносная скорость выставления заявок на продажу тех акций, которые выглядели в глазах бота бесперспективными).
В то же время, однако, они отметили, что трейдеры HFT демонстрировали торговые паттерны, несовместимые с традиционным определением маркет-мейкинга — деятельности по обеспечению ликвидности финансового инструмента — и что они «агрессивно торговали в направлении изменения цен».
HFT также играет всё возрастающую роль на валютных и товарных рынках, составляя около 28% общего объёма фьючерсных рынков. Неудивительно, что эта область стала уязвимой для мини-крэшей. После инцидентов с торговлей какао и сахаром Wall Street Journal осветил растущие опасения:
«Электронная платформа слишком быстрая; она не замедляет вещи» так, как это делали бы люди, — сказал Ник Джентиле, бывший трейдер по какао. “Это очень раздражает — проходить через такие обвалы”, сказал он…
То же самое происходит на рынке сахара, вызывая возмущение в отрасли. В февральском письме в ICE Всемирный сахарный комитет, представляющий крупных потребителей и производителей сахара, назвал трейдеров, использующих высокоскоростные алгоритмы, «паразитами».
Насколько HFT виновна в “Молниеносном обвале” — открытый вопрос, но ясно, что торговая среда быстро меняется. Рыночные аналитики теперь говорят о «микроструктурах», торговых «предохранителях» и «метрике токсичности потока VPIN». (VPIN — “синхронизированная по объемам вероятность информированной торговли”).
Также трудно предсказать, насколько серьезными могут стать будущие “молниеносные обвалы”. Если не будут приняты достаточные меры для остановки этих событий, когда они происходят, и если предположить, что HFT будет масштабироваться с точки зрения широты рынка, охвата и скорости, вполне разумно думать о событиях, в которых могут произойти массовые и невосполнимые потери. И действительно, некоторые аналитики уже предсказывают системы, способные поддерживать 100 000 транзакций в секунду.
Даже если HFT и “молниеносные обвалы” не приведут к экономической катастрофе, это все равно яркий пример того, как другие критически важные системы могут достигать невероятно быстрого ритма работы. Поскольку мы передаём принятие критических решений нашим технологиям и поскольку они наращивают мощность и скорость, мы всё чаще оказываемся вне контроля и понимания ситуации.
Когда ИИ ошибается, он ошибается всерьёз
Несомненно, мы уже находимся на той стадии, когда компьютеры превосходят нашу способность понимать, как и почему они делают то, они что делают. Один из лучших примеров — IBM Watson, экспертная компьютерная система, которая разгромила лучших игроков мира в Jeopardy! в 2011 году. (“Jeopardy!” — америкаснкая телевикторина, послужившая вдохновением для отечественной передачи “Своя игра”).
Компьютерная система Watson, спроектированная IBM специально для победы в игре Jeopardy! Источник.

Чтобы заставить её работать, разработчики Watson написали серию программ, которые, будучи собраны вместе, создали общую игровую систему. И они не совсем уверены, как она работает.
Дэвид Ферруччи, ведущий исследователь проекта, выразился так: “Watson вызывает у меня крайнее удивление. Люди говорят: «Почему он ошибся в этом вопросе?» Я не знаю. «Почему он ответил правильно на другой вопрос?» Я снова не знаю.”
Это на самом деле довольно тревожно. И не потому, что мы не понимаем, почему программа успешно отвечает на вопрос, но потому, что мы не понимаем, почему она терпит неудачу. Тем самым мы не можем понять или предвидеть природу ее ошибок.
Например, у Watson был один памятный ляп, который ясно продемонстрировал, что когда ИИ терпит неудачу, он терпит её по-крупному. Во время финального раунда Jeopardy! ему задали вопрос: «Крупнейший аэропорт этой страны назван в честь героя Второй мировой войны. А второй по величине аэропорт — в честь одного из сражений этой же войны». Watson на это ответил: «Что такое Торонто?»
Учитывая, что аэропорт Билли Бишоп в Торонто назван в честь героя войны, это была не такая уж и плохая догадка. Но это было вопиющей ошибкой, потому что категория вопросов называлась «Города США». Торонто, не будучи городом США, не мог быть правильным ответом.
Опять же, это важное различие, которое нужно проводить при рассмотрении потенциала высокообобщённого ИИ. Слабые, узкие системы чрезвычайно мощны, но они также чрезвычайно глупы; им полностью не хватает здравого смысла. При достаточной автономии и ответственности ошибочный ответ или неверное решение могут быть катастрофическими.
В качестве другого примера возьмём недавнюю инициативу дать роботам их собственный Интернет. Предположительно, обмениваясь информацией между собой, эти роботы смогут учиться без необходимости программировать их поведение. Однако проблема возникает, когда инструкции для задачи оказываются неверными в результате ошибки ИИ.
Проект RoboEarth Cloud Engine, также известный как Rapyuta, начался в 2013-14 годах с четырех роботов, работавших в симулированном больничном покое при техническом университете Эйндховена в Нидерландах. Результаты исследования сегодня используются в складской логистике. Источник.

Глупый робот, действующий без здравого смысла, просто выполнит задачу, даже если полученные инструкции ошибочны. Можно только представить, лет этак через 30-40, какой ущерб сможет нанести даже дилетант с помощью простого вредоносного скрипта.
Более того, поскольку экспертные системы вроде Watson скоро смогут давать ответы на вопросы, выходящие за пределы нашего понимания, мы не всегда будем знать, когда они ошибаются. И это пугающая перспектива.
Как всё будет выглядеть
Трудно точно знать, как, когда и где произойдёт первая настоящая катастрофа ИИ, но до неё ещё несколько десятилетий. Наша инфраструктура пока недостаточно интегрирована и надёжна, чтобы позволить случиться чему-то действительно ужасному. Но к 2040-м годам (если не гораздо раньше) наш высокоцифровой и всё более взаимосвязанный мир станет уязвим для проблем такого рода.
К тому времени наши энергосистемы (электросети, атомные станции и т.д.) могут быть уязвимы для ошибок и преднамеренных атак.
Уже сегодня (спецслужбы) США смогли внедриться в программное обеспечение систем управления, которые контролируют работу центрифуг на иранских ядерных объектах, благодаря своей программе Stuxnet — невероятно сложному компьютерному вирусу, если его можно так классифицировать. Эта программа представляет будущее кибершпионажа и кибероружия. И она лишь бледная тень грядущего.
Вирус Stuxnet не только занимался сбором данных, но также мог активно выводить из строя промышленные системы контроля, ускорять и замедлять центрифуги завода по обогащению урана и причинять другой вред. Источник.

В будущем более продвинутые версии, вероятно, смогут не только внедряться в системы врагов или соперников, но и проводить обратную разработку, наносить ужасный ущерб — или даже захватывать контроль. Но, как показал случай с “червём” Морриса, может быть трудно предсказать последствия этих действий, особенно при работе с автономным, самовоспроизводящимся кодом. Это также может привести к гонке вооружений ИИ, где каждая сторона разрабатывает программы и контрпрограммы, чтобы получить преимущество над технологиями другой стороны.
И хотя это может показаться сюжетом научно-фантастического романа, катастрофа ИИ может также включать преднамеренный или случайный захват любой системы, работающей на ИИ. Это может включать интегрированное военное оборудование, самоуправляемый транспорт, включая самолёты, роботов и целые заводы. Если что-то подобное произойдёт, задача будет состоять в том, чтобы как можно быстрее отключить вредоносный скрипт или исходную программу, а это может быть нелегко.
В более концептуальном плане, и в годы, непосредственно предшествующие началу нелокализуемого самосовершенствующегося машинного интеллекта, узкий ИИ может быть использован, опять же, намеренно или ненамеренно, для выполнения плохо сформулированной цели. Мощная система может переоценить важность одного аспекта или сильно недооценить другой. И тогда она осуществит радикальные изменения в мгновение ока.
Будем надеяться, что если (или когда) это произойдет, это будет локализуемо и незначительно по масштабу. Но это, вероятно, послужит призывом к действию в преддверии более катастрофических эпизодов. Что касается настоящего, и с учётом этих возможностей, нам нужно убедиться, что наши системы безопасны, умны и устойчивы.
![[Перевод] Пророчество об ИИ, оставленное в 2013](https://habrastorage.org/extt/75/40/50/7540507b68f676497ea918433015a602.jpg)
Комментарии 0