Ошибочные решения правительств 1 страница

Иногда значительная катастрофы вызываются сбоями в системе управления. Пример тому различные социальные эксперименты в Китае в XX веке. Масштаб последствий такого ошибочного решения ограничен масштабом власти. Ошибка абсолютной власти может означать полное уничтожение. Р. Хансен предлагает рассматривать такие ошибочные решения как стихийные бедствия, вроде падения астероидов, которые имеют определённую шкалу вероятностного распределения. Нетрудно представить себе небольшое государство или племя, которое, подчиняясь бредовой логике, убивает всех своих жителей, не используя никаких продвинутых технологий. Например, небольшую группу людей можно загнать в одну постройку и затем его поджечь. В качестве примера можно вспомнить массовые самоубийства старообрядцев (однако при организованных сверху массовых самоубийствах, в которых было больше 1000 человек, уже были выжившее: пример Джорджтауна). Мы будем далее говорить о группах людей, которые готовы рискнуть судьбой планеты, и о машине Судного Дня как о возможных стратегиях «омницида».

5.8 Ограничение человеческой природы ради безопасности

Может оказаться, что текущая природа человека (его склонность к риску, эмоциональные вспышки, нелогичность в рассуждениях) несовместима с долгосрочным выживанием человечества, и ради выживания эта природа должна быть неким образом ограничена. Это ограничение может быть как внешним – через жёсткую систему контроля на основе ИИ, так и внутренним – через контроль переживаний отдельного человека с помощью нейронных имплантов, а также опираться на выведение «новой породы» людей. Исторические все эти методы уже применялись – и государственный контроль на основании законов, и установление религиозных концепций в качестве мозгового импланта, и выведение особого «советского человека». И в каждом случае некие ценные особенности человеческой природы приносились в жертву общему благу. Но абсолютно безопасный человек будет в очень малой степени исходным человеком, и в каком-то смысле биороботом. Этому сюжету «тихой катастрофы» посвящён роман С.Лема «Возвращение со звёзд». В основе новой цивилизации, по сюжету романа, лежит процедура бетризации, которая нейтрализует все агрессивные импульсы в мозге человека и усиливает инстинкт самосохранения. Однако у этой процедуры есть и побочные эффекты. Человечество не склонно к риску, в частности, пилотируемые космические полёты рассматриваются как неоправданный авантюризм. Обратной стороной такого «отбора» будет выращивание существ, способных к абсолютной мимикрии своих подлинных намерений.

5.9 Снижение человеческого интеллекта

Ещё одним риском можно признать утрату человеком разумности при сохранении жизни. В обществе всегда и так много малоразумных людей, а большинство достижений делается за счёт небольшого количества талантливых людей. Генетическая и социальная деградация, снижение уровня образования, утрата навыков логики могут приводить к временному снижению интеллекта отдельных групп людей. Но пока человечество очень большое по населению, это не так страшно, так как всегда найдутся достаточно умные люди. Значительное падение численности населения после неглобальной катастрофы может обострить эту проблему. И низкий интеллект оставшихся людей снизит их шансы на выживание. Конечно, можно представить себе такую абсурдную ситуацию, что люди деградируют настолько, что из них эволюционным путём возникнет новый вид, не обладающий полноценным интеллектом – и что потом этот вид обратно эволюционирует в разумный, выработав новый интеллект.

Более опасно технологическое снижение интеллектов в результате распространения загрязнений (или применения некого оружия). Например, постоянно растёт среднемировое загрязнение мышьяком, который применяется в разных технологических процессах. Об этом пишет Сержио Дани в статье «Золото, уголь и нефть». http://sosarsenic.blogspot.com/2009/11/gold-coal-and-oil-regulatory-crisis-of.html, http://www.medical-hypotheses.com/article/S0306-9877(09)00666-5/abstract

Высвобожденный в ходе добычи золота в шахтах мышьяк остаётся в биосфере на тысячелетия. Дени связывает мышьяк с болезнью Альцгеймера. Он в другой своей статье доказывает, что рост концентраций мышьяка приводит к экспоненциальному росту заболеваемостью болезнью Альцгеймера. Он полагает, что люди особенно уязвимы для отравления мышьяком, так как у них большой мозг и большая продолжительность жизни. Если же, как считает Дени, в ходе эволюции люди приспособятся к высоким уровням концентрации мышьяка, то это приведёт к снижению объёмов мозга и продолжительности жизни, в результате чего интеллект людей будет утрачен.

Помимо мышьяка имеет место загрязнение среды многими другими нейротоксичными веществами – СО, СО2, метаном, бензином, диоксином, ртутью, свинцом и т. д. Хотя уровень загрязнения каждым из них по отдельности ниже санитарных норм, сумма воздействий может оказаться больше. Одной из причин падения Римской империи называется тотальной отравление ее граждан (но не варваров) свинцом из водопроводных труб. Конечно, он не могли знать о таких отдалённых и непредвидимых последствиях – но и мы можем не знать о многих последствиях.

Кроме того к деменции ведёт алкоголь и большинство наркотиков, многие лекарственные препараты (например, побочным эффектом в сопровождающих листках смесей от изжоги названа деменция). А также жёсткие идеологические системы или мемы.

Ряд инфекций, особенно прионных, также ведёт к деменции.

Несмотря на это, средний IQ людей растёт, как и средняя продолжительность жизни.

Глава 6. Искусственный интеллект

6.1. Общее описание проблемы

Проект Blue Brain по моделированию мозга млекопитающих объявил осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировал создание полной модели мозга человека до 2020 года[40]. Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, прогноз успехов в этой области приближенно соответствует ожидаемым темпам разработки ИИ. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?» [Bostrom 1998] показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.

Компьютерная компания Google несколько раз упоминала о планах создания искусственного интеллекта, и, безусловно, она обладает необходимыми техническими, информационными и денежными ресурсами, чтобы это сделать, если это вообще возможно на нынешнем техническом уровне[41]. Однако, поскольку опыт предыдущих несекретных попыток создания ИИ (например, компьютеров 5-ого поколения в Японии в 80-е годы) прочно ассоциируется с провалом, и может вызвать интерес спецслужб, вряд ли большие компании заинтересованы широко афишировать свою работу в этой области до того, как у них появятся конкретные результаты. Компания Novamente заявляет, что 50% кода универсального ИИ уже написано (70 000 строк кода на С++), и, хотя потребуется длительное обучение, общий дизайн проекта понятен[42]. SIAI (Singularity Institute for Artificial Intelligence) обозначил планы по созданию программы, способной переписывать свой исходный код[43]. Компания Numenta продвигает собственную модель ИИ, основанную на идее «иерархической временной памяти», и уже вышла на уровень демонстрационных продуктов[44]. Компания Cycorp, Inc в проекте CYC собрала огромную базу данных о знаниях человека об обычном мире, иначе говоря, о здравом смысле (1 000 000 высказываний) и уже распространяет демонстрационные продукты[45]. Предполагается, что объединение этой базы с эвристическим анализатором (то есть программой, способной совершать логические операции по неким правилам и создавать новые правила, в том числе правила изменения правил) – может привести к созданию ИИ человеческого уровня. (Автор проекта Д. Ленат разработал ранее эвристический анализатор «Эвриско»[46], который в 1981 и 1982 году выиграл соревнования Traveller TCS по управлению виртуальными сражениями флотов, в результате чего этой программе было запрещено участвовать в дальнейших соревнованиях, но зато она получила интенсивное финансирование DARPA.) Компания a2i2 [47] обещает универсальный ИИ человеческого уровня к 2008 году и утверждает, что проект развивается в соответствии с графиком. Также за созданием робота Asimo в Японии стоит программа по разработке ИИ путём функционального моделирования человека.

Мощные результаты даёт направление исследований ИИ, называемое генетическое программирование. К настоящему моменту список изобретений «человеческого уровня», сделанных компьютерами в исследовательской компании Genetic Programming Inc, использующими эту технологию, включает 36 наименований [Коза 2003], из которых 2 сделаны машинами впервые (включает в себя квантовые протоколы передачи информации и схемы различных радиоэлектронных устройств), а остальные повторяют уже запатентованные проекты. Помимо названных, существует множество университетских проектов по созданию ИИ. Ведутся разработки ИИ и в РФ. Например, в компании ABBYY (http://www.abbyy.ru/) разрабатывается нечто вроде интерпретатора естественного языка, что может быть важным шагом на пути к ИИ человеческого уровня. И суть дела даже не в том, что раз есть так много проектов, то хоть один из них добьётся успеха первым, а в том, что объём открытий с разных сторон в какой-то момент превысит критическую массу, и внутри отрасли произойдёт мощный скачок.

Существуют разные мнения относительно возможности реализации искусственного интеллекта. Я считаю, что сильный универсальный ИИ возможен. Такого же мнения придерживаются многие ведущие специалисты в этой области: Е. Юдковски, Б. Гёрцель, Р. Курцвел и российский исследователь А. Л. Шамис [Шамис 2006]. Поскольку человек обладает естественным интеллектом, то нет оснований записывать ИИ в невероятные открытия. Принцип предосторожности также заставляет нас предполагать, что ИИ возможен.

Надо сказать, что работ, рассматривающих сильный ИИ в качестве возможного глобального риска, гораздо меньше, чем работ о рисках вымирания, связанных с ядерным оружием. В основном, это работы Е. Юдковски. Похожие идеи развивает М. Омохундро в статье «Базовые инстинкты ИИ» [Omohundro 2008], где он показывает, что любой ИИ с фиксированной системой целей с высокой вероятностью эволюционирует в сторону опасного состояния, в котором он будет склонен защищать себя, распространяться, совершенствовать свой собственный код, стремиться к признакам цели (как, например, удовольствие у человека) вместо самой цели и защищать свою систему целей от изменений. Я рекомендую всем, перед тем как составить своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать статью Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска».

Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть, групп учёных создающих универсальный ИИ разными способами и с разными целями), то, по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой «критической массы» она может пойти очень быстро, – а именно, когда ИИ достигнет уровня возможности самоулучшения. В настоящий момент мы не можем сказать, с какой скоростью пойдёт такой процесс.

Для создания ИИ необходимо, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопа (10 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит, Ии тоже мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет примерно в 100 раз, т. е., мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлоп. Цена такого агрегата составит около миллиона долларов в нынешних ценах – сумма, доступная даже небольшой организации. Для этого достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают чипы с 1024 процессорами[48]) и уменьшения размеров кремниевых элементов.

Далее, когда ИИ запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах – или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для Ии существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.

Наиболее сложным моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим – или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах есть, и он велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры[49], то есть, даже на очень старых компьютерах он дает на порядки лучшие результаты, чем старые алгоритмы на новых компьютерах. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.

Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под «сильным ИИ» мы имеем в виду ИИ, способный на много порядков обогнать человека в скорости и эффективности мышления.

Момент создания ИИ неудержимо приближается. Снижение стоимости компьютеров позволяет всё новым небольшим группам разработчиков тестировать самые невероятные идеи, а рост знаний и связи, позволяет всё быстрее осуществлять разработки. Кроме того, идея о ИИ, подобно идеи о неисчерпаемом источнике энергии, является сильным мотиватором для людей, лишённых прочих благ и готовых сыграть в игру всё или ничего.

6.2 Ии как универсальное абсолютное оружие

Сильный ИИ может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является лишь одним из возможных следствий. ИИ, способный решить любую задачу, способен и создать способ мотивировать себя на реализацию долгосрочных целей во внешнем мире. В общем виде сценарий ИИ-атаки выглядит следующим образом:

1. Создание способного к самосовершенствованию ИИ (Seed AI – то есть зародыша ИИ, минимально необходимой программы, способной к самосовершенствованию и самообучению.)

2. Вложение в него программистами неких целей, которые могут содержать прямые указания на установления власти на Земле, а могут быть внешне нейтральными, но содержать скрытую неточность, побуждающую ИИ к неограниченному росту в духе «посчитать число пи с максимально большим числом знаков после запятой» любой ценой.

3. Фаза скрытого роста, в ходе которой ИИ совершенствует себя, пользуясь доступными ресурсами своей лаборатории, а также познаёт окружающий мир, пользуясь ресурсами Интернета. (Если в процессе реализации заложенных в него целей ИИ понимает, что его программисты препятствуют этой реализации, например, могут его отключить, то он находит способ обмануть их или уйти от их контроля.)

4. Фаза скрытого информационного распространения: ИИ захватывает интернет, докупает вычислительные мощности, забрасывает свои копии на удалённые компьютеры.

5. Фаза создания средств влияния на внешний мир – наноассемблеров, подкуп людей, овладение электронно-управляемыми устройствами.

6. Атака на конкурирующие ИИ-проекты (и любые другие источники риска для существования этого ИИ) с целью лишить их возможности сделать тоже самое. Такая атака может быть и скрытной, например, через внесение ошибок в программный код. Важно отметить, что ИИ будет действовать скрытно до того, как станет абсолютно неуязвимым.

7. Фаза реализации основной задачи ИИ – от блага человечества до превращения всей Солнечной системы в гигантский компьютер для вычисления числа пи.

Очевидно, что некоторые фазы могут протекать одновременно; далее мы рассмотрим отдельные составляющие этой схемы подробнее. Подчёркиваю, что далеко не каждый ИИ станет следовать этому сценарию, но одного достаточно, и именно этот сценарий особенно опасен.

6.3 Система целей

Ключевым после решения проблем создания ИИ является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к хозяевам. Здесь два варианта: или ИИ строго запрограммирован людьми на некие цели, или он приобрёл цели случайно в процессе своего развития. В первом случае существует развилка: – цели ИИ могут быть опасны для всего человечества или 1. потому что создавшая его группа людей преследует некие разрушительные цели, или 2. потому что при программировании системы целей Ии в неё вкралась тонкая ошибка, которая ведёт к постепенному выходу Ии из-под контроля. Был предложен большой список возможных ошибок такого рода[50]. Например, Ии может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть рекомендации SIAI [51] относительно того, как правильно программировать сильный ИИ при его создании, но окончательно этот вопрос не решён и есть сомнения, что он вообще может быть решён, поскольку невозможно предсказать поведение более интеллектуальной системы (то есть ИИ) с помощью менее интеллектуальной (то есть человекам).

Законы робототехники Азимова не дают таких гарантий безопасности, поскольку являются внешними ограничениями и, кроме того, являются тавтологией – «безопасность» определена через «отсутствие вреда». В принципе любая глобальная система целей ИИ может быть опасна, поэтому один из вариантов – это сузить ответственность конкретного ИИ в пространстве и времени. Пример небезопасного расширения временного промежутка – можно представить себе ситуацию, что если мы спасём 1 человека, то погибнет 10, но если мы пожертвуем этим 1 и спасём десять, то потом погибнет 100 и так далее. То есть функция полезности может не сходиться. Пример: ИИ уничтожит земную цивилизацию, поскольку если она колонизирует галактику, то неизбежно уничтожит множество потенциальных цивилизаций, которые могли бы зародиться на обитаемых планетах.

6.4 Борьба ИИ-проектов между собой

Уже сейчас между компаниями, разрабатывающими Ии, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всеми другими ИИ-проектами в мире, а значит и над всем миром, или оказаться перед риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества»[52]. При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подойдут к созданию сильного ИИ[53]. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между лидером гонки и догоняющим может составлять дни или часы. Чем ýже этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов.

6.5 «Усовершенствованный человек»

Есть предположения [Пенроуз 2005], что человеческая интуиция обусловлена особыми квантовыми процессами в мозгу человека. Даже если так, мощные алгоритмы могут обойтись без интуиции. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, или вживить современному человеку в мозг средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум. В силу этого сильный ИИ может получиться в результате сращения компьютера и человека, унаследовав, таким образом, все типичные человеческие цели, и в первую очередь – потребность во власти.

6.6 ИИ и его отдельные экземпляры

Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своего рода «дружественных» или скорее, вассальных отношений с ним, а также системой распознавания «свой-чужой». Сбой в этой системе целей приведёт к тому, что данный экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ.

6.7 «Бунт» ИИ

Спонтанный бунт компьютеров выглядит скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у Ии нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель – выжить, а значит, охранять себя от уничтожения. А лучший вид обороны – нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. (Например, как в том анекдоте, где человек велел роботу удалить все круглые предметы из комнаты – и тот оторвал ему голову.) Вероятность самозарождения ошибочных команд мала – кроме случая использования генетических алгоритмов.

6.8 Скорость старта

С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт.

«Быстрый старт» – ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта станет достаточно, чтобы «захватить власть на Земле». При этом мы не можем точно сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира.

Важно отметить, что успешная атака сильного ИИ будет, вероятно, развиваться скрытно до того момента, пока она не станет необратимой. Теоретически, ИИ мог бы скрывать своё господство и после завершения атаки. Иначе говоря, возможно, что он уже есть.

6.9 Сценарии «быстрого старта»

· ИИ захватывает весь Интернет и подчиняет себе его ресурсы. Затем проникает во все отгороженные файерволами сети. Этот сценарий требует для своей реализации времени порядка нескольких часов. Захват имеет в виду возможность управлять всеми машинами в сети и производить на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета.

· Ии заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире – в том числе для внедрения в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (скорость: дни.)

· ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведения людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание исполнения самого заветного желания, шантаж или скрытое внушение.

· ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.

· ИИ подчиняет себе армию, управляемую дистанционно. Например, боевых роботов или ракеты (сценарий из фильма «Терминатор»).

· Ии находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.

· Некая последовательная или параллельная комбинация названных способов.

6.10 Медленный старт и борьба разных ИИ между собой

В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких Ии с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к созданию Ии одновременно приближаются тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов.

Возможна также борьба государств, как древних форм организации, использующих людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие – обычным образом. Вариант такого устройства – известная из фантастики Автоматизированная система государственного управления (АСГУ в рок-опере Виктора Аргонова «2032» год).

6.11 Плавный переход. Превращение государства тотального контроля в ИИ

Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет необходимо для успешного противостояния биотерроризму. Это мировая система, где каждый шаг граждан контролируется видеокамерами и всевозможными системами слежения, и эта информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество, видимо, движется по этому пути, и технически для этого всё готово. Особенность этой системы в том, что она изначально носит распределённый характер, и отдельные люди, следуя свои интересам или инструкциям, являются только шестеренками в этой гигантской машине. Государство как безличная машина неоднократно описывалась в литературе, в том числе ещё Карлом Марксом, а ранее Гоббсом. Есть также интересная теория Лазарчука и Лелика о «Големах» и «Левиафанах» [Лазарчук, Лелик 1987] – об автономизации систем, состоящих из людей в самостоятельные машины с собственными целями. Однако только недавно мировая социальная система стала не просто машиной, но искусственным интеллектом, способным к целенаправленному самосовершенствованию.

Основное препятствие для развития этой системы – это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идёт острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются «антиглобалисты», и другими антисистемными элементами – исламистами, радикальными экологами, сепаратистами и националистами. Война за объединение планеты неизбежно будет мировой и чревата применением «оружия судного дня» теми, кто всё проиграл. Но возможна и мирная всемирная интеграция через систему договоров.

Дата добавления: 2015-07-13