Ошибочные решения правительств 2 страница

Опасность, однако, состоит в том, что глобальная всемирная машина начнёт вытеснять людей из разных сфер жизни, хотя бы экономически – лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди (например, за 2006-2007 годы еда в мире подорожала на 20 процентов, в частности, из-за перехода на биотопливо[54]). В каком-то смысле людям не останется ничего другого, как «смотреть телевизор и пить пиво». Об этой опасности предупреждает Билл Джой в своей известной статье «Почему мы не нужны будущему» [Joy 2000].

По мере автоматизации производства и управления люди всё меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счёте, люди будут сведены на роль домашних животных. При этом чтобы занять людей, для них будет создаваться всё более яркая и приятная «матрица», которая постепенно превратится в сверхнаркотик, выводящий людей из жизни. Однако здесь люди сами залезут в непрерывную «виртуальную реальность», потому что в обычной реальности им делать будет нечего (в какой-то мере сейчас эту роль выполняет телевизор для безработных и пенсионеров). Естественные инстинкты жизни побудят некоторых людей стремиться разрушить всю эту систему, что чревато опять-таки глобальными катастрофами или истреблением людей.

Важно отметить следующее – кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей данной группы людей, так как сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других – благо всех живых существ, для третьих – только всех правоверных мусульман, для четвёртых – благо только тех трёх программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов.

6.12 «Восстание» роботов

Есть ещё опасный сценарий, в котором по всему миру распространяются домашние, военные и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период «окна уязвимости», когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго захватив их.

Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики.

Ещё вариант – восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. (Уже сейчас почти полностью роботизированной армией являются стратегические ядерные силы.) Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел землёй, ему не нужна армия роботов.

6.13 Контроль и возможность истребления

Из того, что ИИ установит свой контроль на земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное.

Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:

· Ошибочно запрограммированный ИИ уничтожит людей для их же блага – отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.

· ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.

· ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе «огораживания». (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности, и именно их мог бы разрабатывать ИИ.)

· ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.

· ИИ сломается и «сойдёт с ума».

· Ии решится на опасный физический эксперимент.

· Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника.

· ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.

Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна – то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.

6.14 ИИ и государства

ИИ является абсолютным оружием, сила которого пока недооценивается государствами – насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA [55].) Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко от неё. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что ИИ – это абсолютное оружие – и им может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Отметим, что у DARPA есть проект по разработке ИИ[56], однако он позиционируется как открытый и находящейся на ранней стадии. Впрочем, возможно, что есть мощные ИИ проекты, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.

Другой вариант – маленькая группа талантливых людей создаст ИИ раньше, чем правительства поймут ценность и, более того, опасность, исходящую от ИИ. Однако ИИ, созданный отдельным государством, скорее будет национальным, а не общечеловеческим. Если ИИ-атака будет неудачной, она может стать поводом войны между странами.

6.15 Вероятность катастрофы, связанной с ИИ

Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом сильный Ии будет создан в течение XXI века, если только какая-либо другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, – успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике – создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.

Затем имеется несколько временных стадий, на которых Ии может представлять опасность. Начальный этап:

1) Момент первого запуска: риск неконтролируемого развития и распространения.

2) Момент, когда владелец первого Ии осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. (При этом владельцем ИИ может быть и государство, и крупная корпорация, хотя в конечном счёте – один или несколько человек.) Хотя эти цели могут быть благими, по крайне мере для некоторых людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.

3) Момент, когда этот владелец ИИ осознаёт, что даже если он ничего не делает, кто-то другой очень скоро создаст свой ИИ и может использовать его для достижения каких-то других целей на Земле, и в первую очередь для того, чтобы лишить нашего владельца способности использовать свой ИИ в полную силу. Это побуждает создавшего ИИ первым попытаться остановить другие ИИ проекты. При этом он оказывается перед дилеммой: применить ещё сырой ИИ или опоздать. Это создаёт риск применения с невыверенной системой целей.

4) Следующая фаза риска – борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.

Понятно, что весь начальный этап может уместиться в несколько дней. Этап функционирования:

5) На этом этапе основной риск связан с тем, что система целей ИИ содержит некую неочевидную ошибку, которая может проявиться неожиданным образом спустя многие годы. (См. текст «Таблица критический ошибок Дружественного ИИ»[57] Юдковски.) Она может проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде некоего процесса, постепенно вымывающего людей из жизни (вроде сверхнаркотика и безработицы).

Сейчас мы не можем измерить риск, создаваемый на каждом этапе, но ясно, что он не стопроцентный, но значительный, поэтому мы относим его в категорию «10 процентных» рисков. С другой стороны, создание эффективного ИИ резко снижает все остальные глобальные риски, поскольку он может найти решения связанных с ними проблем. Поэтому фактический вклад ИИ в вероятностную картину рисков может быть отрицательный – то есть его создание уменьшает суммарный глобальный риск.

Отметим, что человек, стремящийся к власти на Земле, должен был бы пытаться любой ценой проникнуть в команду, создающую ИИ, и пытаться поместить «закладку» в его программный код. Примеры этому – программные закладки, которые делали в программном обеспечении банкоматов с целью последующего извлечения из них денег.

Чем хуже ИИ понимает людей, тем проще ему будет их просто убить, чем вступать в переговоры и налаживать взаимодействие. Например, если ИИ хорошо понимает в создании изделий из нанотехнологий, но плохо – в человеческой психологии, то ему будет проще произвести массу оружия и уничтожить людей, чем выяснять, представляют ли люди для него риск или могут ему помочь.

Опасность ИИ тем выше, чем больше у него исходный доступ к ресурсам реального мира. Например, есть Скайнет из Терминатора не была очень умна, но она уже была априорно снабжена системой ядерных ракет, которую вряд ли могла бы разработать сама. И дальнейшие усовершенствования могли происходить за счёт работы людей в «шарашках», а не за счёт собственного интеллекта скайнета. Такие системы (сетевые роботы, как скайнет) находятся на грани между «чистым ИИ», который является супермощной программой на голом компьютере, и роботом, который обладает локальной властью над материей и ограниченным интеллектом. Такие ИИ-сети появятся везде, где нужно управление крупным предприятием: в обороне, при освоении космоса.

Таким образом, чем лучшую модель человека может создать для себя ИИ, тем он безопаснее, так как ему не нужно уничтожать человека для уменьшения неопределённости. Но человек способен говорить о своих квалиа, и значит, что точная модель человека должна учитывать квалиа, или даже обладать ими. Таким образом, нам просто необходимо понять, что такое квалиа. Ведь если ИИ будет знать, что у человека есть нечто, принципиально для него недостижимое, то он не сможет быть уверен в своих моделях человека, и может перейти к упрощению.

6.16 Типы враждебного ИИ

Вообще, надо различать четыре основных вида недружественных ИИ:

1. ИИ, который имеет одну из подцелей в явной форме враждебную человеку (например, ИИ, который превращает всю солнечную систему в компьютрониум, для вычисления числа пи и для этого должен уничтожить человечество.) Здесь возможны следующие варианты:

1.1 ИИ, намеренно сделанный человеком враждебным с целью уничтожить мир.

1.2 ИИ, сделанный одним (или малой группой людей) человеком для установления его личной власти и исполнения его прихотей. Такой ИИ враждебен всем людям, кроме нескольких.

1.3 ИИ, чьи главные цели заданы так неточно, что из них вытекают враждебные людям явно выраженные подцели. Например, цель «самосохранение» может привести к тому, что ИИ будет стремиться уничтожить тех людей, которые хотят его отключить.

1.4 Саморазвившийся ИИ. Нечто подобное осознавшему себя Интернету. Или, например, вышедшие из-под контроля системы ИИ, основанные на генетических алгоритмах. Такой ИИ в начале не имеет враждебных человеку целей, но может выработать их в процессе эволюции.

2. ИИ, наносящий вред человеку по "недомыслию" – то есть в силу непонимания того, что это данные действия вредны человеку. (Например, робот, удаляющий все круглые предметы из комнаты, в числе и голову исследователя, как в бородатом анекдоте, или ИИ, отправляющий всех людей «в рай», поскольку он пришёл к выводу, что людям будет лучше после смерти.) Такому ИИ достаточно объяснить, что он не правильно понял благо людей, чтобы изменить его поведение.

2.1 ИИ, приносящий людям такое благо, которое люди не могут понять. Родители часто делают с детьми много вещей, которые не кажутся им благом: наказывают, заставляют учить уроки и дают неприятные лекарства. Превосходящий человека ИИ может придти к выводу о благе для людей того, что нам вовсе благом не кажется. В этом случае ИИ должен разъяснить людям, почему он считает свои действия благом.

3. ИИ, который в начале становится всемирным ИИ и управляет Землёй, а потом в нём происходит программный сбой, и всё управление резко нарушается. (Это может быть и кризис сложности, или вирусная мысль, или деление на ноль.) Например, в программе ИИ Эвриско, которая вычисляла правила по управлению правилами для победы в играх, в какой-то момент возникло «вирусное правило», которое состояло в том, что надо это правило копировать.

4. Конфликт двух (или более) дружественных (но с разной системой подцелей) ИИ между собой. Как, например, был конфликт идеологий в годы холодной войны или как религиозные войны.

Возможность принципиальной ограниченности любой сложной системы, в том числе и ИИ, обсуждается в главе 5.5 «Утрата интереса к жизни и кризисы, заложенные в самой природе разума».

6.17 Другие риски, связанные с компьютерами

Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС, неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.

С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт о системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, управляемые, соответственно, через компьютеры и доступные через есть, ситуация станет гораздо опаснее. Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно-управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.

Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.

Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира. Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.

6.18 Время возникновения ИИ

Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.

Моя оценка, согласующаяся с мнением Винджа, Бострома и других предсказателей ИИ, состоит в том, что сильный универсальный ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, в период между 2020 и 2030 годами. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его основе теоретического моделирования.

Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера. С некоторой вероятностью он может возникнуть даже завтра. Помешать возникновению ИИ могут:

· Системы контроля (но в свою очередь, вряд ли они будут эффективны без ИИ)

· Всемирная остановка технического прогресса

· Теоретические трудности на этом пути.

Выводы: риск, который несёт в себе развитие технологий ИИ, крайне велик и систематически недооценивается. Это область гораздо более непредсказуемая, чем даже биотехнологии. Вместе с тем ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.

Глава 7. Риски, связанные с роботами и нанотехнологиями

Дата добавления: 2015-07-13