Наши наиболее могущественные технологии 21-го века - робототехника, генная инженерия и нанотехнология[2] - угрожают подвергнуть человеческий род опасности. 1 страница

Учите ребенка чувствовать и удивляться, поощряйте его любознательность

Обращайте его внимание на первые весенние цветы и краски осеннего леса. Сводите его в зоопарк и вместе найдите самое большое животное, потом самое высокое... Наблюдайте за погодой и очертаниями облаков. Заведите рукописный журнал наблюдений за ростом котенка. Учите ребенка чувствовать. Открыто переживайте с ним все события повседневной жизни, и его любознательность перерастет в радость учения.

Нравственные измерения новых технологий беспокоили меня с того момента, как я стал заниматься их созданием, но только осенью 1998-го года я с тревогой понял, насколько велики опасности, с которыми мы столкнёмся в 21-м веке. Я могу датировать начало моей тревоги днём, когда я встретил Рэя Курцвейла (Ray Kurzweil), заслуженно прославленного изобретателя первой читающей машины для слепых и многих других удивительных вещей.

Я и Рэй оба были докладчиками на конференции Telecosm Джорджа Гилдера[3], и я встретил его случайно в гостиничном баре после того, как окончились наши заседания. Я сидел с Джоном Сирлом[4], философом из Беркли, работавшим над изучением сознания. Пока мы беседовали, подошёл Рэй и завязался разговор, предмет которого преследует меня по сей день.

Я пропустил разговор Рэя и упустил тему разговора, а они теперь начали как раз там, где остановились. Рэй говорил о том, что темп улучшения технологии собирается ускоряться и что мы собираемся стать роботами, слиться с роботами или что-то наподобие, а Джон возражал, говорил, что этого не может случиться, поскольку роботы не могут быть сознательными.

Пока я слышал такие толки раньше, я всегда полагал, что чувствующие роботы относятся к сфере научной фантастики. Но теперь от некоторых уважаемых мною людей я услышал веский аргумент в пользу того, что такие роботы являются делом близкого будущего. Я был ошеломлён, особенно если учесть подтверждённую способность Рэя воображать и создавать будущее. Я уже знал, что новые технологии, вроде генной инженерии и нанотехнологии, дают нам власть переделать мир, но реалистичный и близкий сценарий создания разумных роботов поразил меня.

От таких открытий можно превратиться в клячу. Мы едва ли не каждый день слышим в новостях про тот или иной технический или научный успех. Но это было совершенно неординарное предсказание. В гостиничном баре Рэй дал мне часть своей готовящейся к выходу в свет книги "Век духовных машин"[5]. Эта книга намечает в общих чертах утопию, которую он предвидит - утопию, в которой люди, "смертные", достигают почти бессмертия путём становления единым целым с робототехнической технологией. От чтения данной книги моё чувство тревоги только усилилось; я был уверен, что он преуменьшал опасности, преуменьшал вероятность плохого исхода при следовании по этой тропе.

Больше всего меня обеспокоил отрывок, подробно описывающий антиутопический сценарий:

Вызов нового луддита [6]

«Сперва давайте примем без доказательства, что компьютерщики преуспеют в совершенствовании разумных машин, которые всё смогут делать лучше, чем люди. В этом случае, по-видимому, вся работа будет делаться многочисленными высокоорганизованными системами машин и не нужны будут никакие людские усилия. Может произойти одно из двух. Либо машинам может быть разрешено делать всё, что они сочтут нужным, без человеческого за ними присмотра, либо человеческий контроль над машинами может быть сохранён.

Если машинам дана полная свобода в осуществлении их собственных решений, то невозможно сказать, к чему это приведёт, поскольку невозможно угадать, как такие машины могут себя вести. Мы только укажем, что гибель рода человеческого была бы во власти машин. Будет ли человечество когда-нибудь столь безрассудно, что передаст всю власть машинам, или же никогда не будет - спорный вопрос. Но мы не намекаем ни на то, что человечество добровольно передаст власть машинам, ни на то, что машины умышленно захватят власть. На что мы намекаем - так это на то, что человечество легко может позволить себе скатиться до положения такой зависимости от машин, что уже не будет никакого практического выбора, кроме как полного принятия всех машинных решений. В то время как общество и проблемы, с которыми оно сталкивается, будут становиться всё более и более сложными и всё более и более интеллектуальными будут становиться машины, люди будут позволять машинам принимать за них больше решений, просто потому, что решения, выработанные машинами, будут приводить к лучшим результатам, чем решения, принятые людьми. В конце концов может быть достигнута ступень, когда решения, необходимые для поддержания системы в рабочем состоянии, будут такими сложными, что люди будут неспособны к разумной выработке этих решений. На этой ступени фактически распоряжаться будут машины. Люди просто не смогут выключить машины, потому что они будут столь зависимы от них, что их выключение равнялось бы самоубийству.

С другой стороны, возможно, что человеческий контроль над машинами может быть сохранён. В этом случае средний человек может управлять некоторыми своими личными машинами, такими, как автомобиль или персональный компьютер, но контроль над крупными системами машин будет в руках крохотной элиты - совсем как сейчас, но с двумя различиями. Благодаря усовершенствованной технике элита будет иметь больший контроль над массами, а поскольку человеческий труд будет больше не нужен, массы будут излишними, бесполезным бременем для системы. Если элита безжалостна, она может просто принять решение истребить людскую массу. Если же она гуманна, то она может использовать пропаганду или иные психологические или биологические способы для сокращения уровня рождаемости, до тех пор, пока людская масса не вымрет, освободив мир для элиты. Или, если элита состоит из мягкосердечных либералов, она может решить сыграть роль доброго пастыря для остального человечества. Они будут присматривать, чтобы физические потребности каждого были удовлетворены, чтобы все дети воспитывались в психологически здоровых условиях, чтобы каждый человек не бездельничал, а имел полезное занятие по душе и чтобы всякий, кто мог стать недовольным, подвергался "лечению" для того, чтобы исцелить его "трудный случай". Конечно, жизнь будет настолько бесцельной, что людей придётся биологически или психологически перестроить: либо устранить их потребность в процессе власти [7], либо заставить их "сублимировать" своё побуждение к власти в некоторое безобидное хобби. Эти спроектированные люди могут быть счастливы в таком обществе, но они совершенно определённо не будут свободны. Они будут приведены к статусу домашних животных [8].»

В книге, пока вы не перевернете страницу, вы не обнаружите, что автором этого отрывка является Теодор Качински – Унабомбер[9]. Я не апологет Качински. В течение 17-летней кампании террора его бомбы убили троих людей и многих поранили. Одна из его бомб тяжело поранила моего друга Дэвида Гелернтера, одного из самых выдающихся компьютерщиков и провидцев нашего времени. Подобно многим моим коллегам, я чувствовал, что следующей мишенью Унабомбера запросто мог быть я.

Качински действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это сознавать, я видел некоторое достоинство в рассуждениях, изложенных в этом единственном отрывке. Я чувствовал необходимость противостоять им.

Антиутопическое предвидение Качински описывает непреднамеренные последствия пресловутой проблемы проектирования технологии и её использования, а также проблемы, которая имеет очевидное отношение к закону Мэрфи - "Всё, что может сломаться, сломается". (Фактически это закон Жулика[10], который сам по себе показывает, что Жулик был прав.) Наше чрезмерное использование антибиотиков привело к тому, что до сих пор является, быть может, наибольшей такой проблемой: появление бактерий, устойчивых к антибиотикам и гораздо более опасных. Нечто подобное произошло, когда попытки ликвидировать малярийных комаров с использованием ДДТ вызвали у них устойчивость к этому препарату; более того, малярийные паразиты приобрели гены мультимедикаментозной устойчивости[11].

Причина многих таких неожиданностей кажется понятной: задействованные системы сложны, они включают в себя взаимодействие и обратные связи между множеством частей. Всякие изменения такой системы будут каскадно ниспадать путями, которые трудно предсказать; это особенно верно, когда задействована человеческая деятельность.

Я начал показывать друзьям цитату Качински из книги "Век духовных машин"; я обычно вручал им курцвейловскую книгу, давал им прочитать цитату, а потом наблюдал их реакцию, когда они обнаруживали, кто её написал. Приблизительно в то же время я нашёл книгу Ганса Моравека "Робот: просто машина для превосходящего разума"[12]. Моравек является одним из лидеров исследований в робототехнике и основателем крупнейшей в мире робототехнической исследовательской программы при университете Карнеги Меллона. "Робот" дал мне больше материала для проб на моих друзьях - материала, удивительно подкрепляющего аргументацию Качински. Например:

Короткий бег (ранние 2000-е)

«Биологические виды почти никогда не переживали столкновений с превосходящими конкурентами. Десять миллионов лет назад Южная и Северная Америки были разделены затопленным Панамским перешейком. Южная Америка, подобно Австралии в наши дни, была населена сумчатыми млекопитающими, включая сумчатых эквивалентов крыс, оленей и тигров. Когда же перешеек, соединяющий Северную и Южную Америки, поднялся, северным плацентарным видам со слегка более эффективными метаболизмами, а также репродуктивной и нервной системами, понадобилось всего лишь несколько тысяч лет для того, чтобы вытеснить и ликвидировать почти всех южных сумчатых.

В совершенно свободном рыночном пространстве превосходящие человека роботы, несомненно, воздействовали бы на людей так же, как североамериканские плацентарные воздействовали на южноамериканских сумчатых (и как люди повоздействовали на бесчисленное множество видов). Робототехнические промышленности сильно конкурировали бы между собой за материю, энергию и пространство, устанавливая, между прочим, цены на них выше тех, которые достижимы для человека. Будучи не в состоянии позволить себе предметы первой необходимости и необходимые условия жизни, биологические люди оказались бы выдавленными за пределы бытия.

Вероятно, имеется некоторая светлая возможность, так как мы живём не в абсолютно свободном рыночном пространстве. Правительство принуждает к нерыночному поведению, главным образом, через собирание налогов. Если правительственные принуждения применять рассудительно, то они смогут поддерживать человеческое население в роскошном стиле на плодах работы роботов, возможно, в течение длительного промежутка времени.»

Учебник антиутопии - а Моравеку удалось именно это. Моравек идёт дальше, обсуждая, как наша основная работа в 21-м веке будет "обеспечивать непрерывное сотрудничество для защиты от промышленностей роботов" путём принятия законов, которые приказывают роботам быть "любезными"[13], а также он описывает, насколько серьёзно опасным может быть человек, "однажды превращённый в неограниченного сверхразумного робота". Мнение Моравека состоит в том, что со временем роботы нас сменят - что люди несомненно стоят лицом к вымиранию.

Я решил, что пришло время поговорить с моим другом Дэнни Хиллисом[14]. Дэнни стал знаменит как соучредитель корпорации "Думающие Машины", которая строила очень мощный параллельный суперкомпьютер. Несмотря на моё теперешнее звание главного учёного в "Sun Microsystems", я больше компьютерный архитектор, чем учёный, и я уважаю знания Дэнни в области информационных и естественных наук больше, чем знания какого-либо известного мне человека. Дэнни также считается крупным футуристом, думающим долгосрочно, - четыре года назад он основал фонд "Долгосрочное Настоящее"[15](15), который строит часы, предназначенные для последних 10000 лет, в качестве попытки привлечь внимание к ничтожно короткому сроку существования нашего общества. (См. "Испытание Времени" ("Test of Time"), журнал "Wired" 8.03, стр. 78.)

Итак, я летел в Лос-Анджелес с определённой целью: отобедать с Дэнни и его женой, Пэйти. Я проходил эту семейную процедуру, щеголяя идеями и отрывками, которые я счёл столь волнующими. Ответ Дэнни - направленный специально на сценарий Курцвейла о слиянии людей с роботами - пришёл быстро и совершенно меня поразил. Он сказал просто, что изменения придут постепенно, и что мы к ним привыкнем.

Впрочем, я полагаю, что абсолютно удивлён я не был. В книге Курзвейла я видел цитату Дэнни, в которой он говорит: "Я также люблю своё тело, как и всякий другой, но если я смогу жить 200 лет с кремниевым телом, я приму его". Похоже, он был в мире с этим процессом и сопровождающим его риском. А я - не был.

Во время разговора и размышления о Курзвейле, Качински и о Моравеке, я вдруг вспомнил роман, который я читал почти 20 лет назад - "Белая Чума" Герберта Фрэнка. В этом романе молекулярный биолог, семью которого зверски убили, помешался. Чтобы отомстить, он конструирует и распространяет новую и очень заразную моровую язву, которая убивает широко, но избирательно. (Нам повезло, что Качински был математиком, а не молекулярным биологом.) Мне вспомнился также Борг из "Звёздного пути", рой частично биологических, частично робототехнических созданий с выраженными разрушительными наклонностями. Бедствия, подобные Боргу, являются главным элементом научной фантастики, так почему же я недостаточно беспокоился о таких робототехнических антиутопиях раньше? Почему другие люди недостаточно беспокоились об этих кошмарных сценариях?

Часть ответа состоит в том, что мы склонны к безоговорочному одобрению всего нового. Привыкнув жить с почти шаблонными научными открытиями, нам всё же придётся столкнуться с фактом, что наиболее неотразимые технологии 21-го века - робототехника, генная инженерия и нанотехнология - ставят угрозу, отличную от той, которую ставили прежние технологии. А именно, роботы, спроектированные организмы и нанороботы разделяют опасный усиливающий фактор: они могут самовоспроизводиться. Бомба взрывается лишь однажды - а один робот или наноробот может стать множеством роботов и быстро выйти из-под контроля.

Последние 25 лет я много работал над организацией компьютерных сетей, где отправление и получение сообщений создавало благоприятную возможность для бесконтрольного размножения. Но если размножение в компьютере или в компьютерной сети может быть лишь досадой, на худой конец, оно выводит из строя машину или дезорганизует сеть и/или сетевые службы, то неконтролируемое саморазмножение в этих новых технологиях порождает гораздо больший риск: риск вещественного повреждения в физическом мире.

Каждая из этих технологий предлагает также несказанные перспективы: мечта о почти бессмертии, которую видит Курцвейл в своих робототехнических грёзах, движет нас вперёд; генная инженерия вскоре может дать лекарства если и не от всех болезней, то от многих, а нанотехнология с наномедициной могут поправить ещё больше несчастий. Сообща они могли бы значительно продлить среднюю продолжительность нашей жизни и улучшить качество наших жизней. Однако ряд продвижений в этих технологиях мало-помалу ведёт к накоплению огромной силы и вместе с тем огромной опасности.

Что было отличительного в 20-м веке? Конечно, технологии, лежащие в основе оружий массового уничтожения - ядерного, биологического и химического (ЯБХ) - были сильны и являлись оружиями огромной угрозы. Но создание ядерного оружия требовало, хотя бы на время, доступа как к редкому - действительно недоступному - сырью, так и к хорошо защищённой информации; программы биологического и химического оружия также были склонны требовать крупномасштабной деятельности.

Эти технологии 21-го века - генетика, нанотехнология и робототехника (ГНР) - настолько могущественны, что они могут породить совершенно новые виды катастроф и злоупотреблений. Наиболее опасным является то, что впервые за всю историю эти катастрофы и злоупотребления станут по плечу частным лицам и небольшим группам. Для этого не потребуется ни крупное оборудование, ни редкое сырье; достаточно будет одних лишь знаний.

Таким образом, мы имеем возможность не просто оружия массового уничтожения, а возможность знаний массового уничтожения (ЗМУ); эта разрушительная способность весьма расширена силой саморазмножения.

Думаю, можно без преувеличения сказать, что мы живём накануне дальнейшего совершенствования чрезвычайного зла - зла, чьи возможности простираются далеко за пределы мощи государств-наций с их оружием массового уничтожения, наделяя поразительной и жуткой властью индивидуальных экстремистов. Хотя я и занимался компьютерами, я не видел вокруг никаких намёков на то, что мне придётся столкнуться с проблемами такого рода.

Моя жизнь движима глубокой потребностью задавать вопросы и находить ответы. Когда мне было 3 года, я уже умел читать, так что мой папа взял меня в начальную школу, где я познавал первые азы и читал ему рассказы. В школу я пошёл рано, потом перескочил через класс и погрузился в книги - у меня была невероятная тяга к знаниям. Я задавал много вопросов, часто доводя взрослых до раздражения.

Когда я был подростком, я очень интересовался наукой и техникой. Я хотел быть радистом-радиолюбителем, но не имел денег на покупку оборудования. Любительское радиовещание было Интернетом того времени: очень притягательно и полностью уединённо. Однако дело было не столько в отсутствии денег, сколько в том, что моя мама была решительно против моего желания стать радиолюбителем; я и без того уже был довольно необщителен.

Может быть я и не имел многих близких друзей, но зато я был обуреваем идеями. В средней школе я открыл великих писателей-фантастов. Я особенно хорошо помню Хайнлайновское[16] "Надень скафандр и путешествуй" и "Я, робот" Азимова[17] с его тремя законами робототехники. Я был зачарован описаниями космического путешествия и хотел иметь телескоп, чтобы смотреть на звёзды; так как у меня не было денег чтобы купить или изготовить его, я вместо этого проверял библиотечные книги по телескопостроению и читал про их изготовление. Я высоко парил в своём воображении.

В четверг вечером мои родители ушли играть в шары и мы, дети, остались дома одни. В эту ночь я прочитал самобытное произведение Джина Родденбери[18] "Звёздный путь" и план произвел на меня большое впечатление. Я принял идею того, что будущее человечество будет жить в западном стиле, в космосе, что будут крупные герои и приключения. Родденбери представлял грядущие столетия со строгими моральными ценностями, воплощёнными в кодексах, подобных Главной Директиве: не вмешиваться в эволюцию технологически менее развитых цивилизаций. Для меня это было невероятно привлекательно: нравственные люди, а отнюдь не роботы, господствовали в будущем, и родденберивские мечты стали частью моих собственных.

В средней школе я выделялся по математике, а когда я поступил в мичиганский университет в качестве студента технической специальности, я взял углублённый курс высшей математики. Решение математических задач было возбуждающим вызовом, но когда я открыл для себя компьютер, я нашёл нечто гораздо более интересное: машину, в которую можно заложить программу, пытающуюся решить задачу, после чего машина быстро проверит решение. Компьютеры имеют ясное понятие о правильности и неправильности, об истине и лжи. Были мои представления правильны? Машина могла сказать мне. Это было очень соблазнительно.

Я был счастлив получить работу по программированию ранних суперкомпьютеров и открыл поразительную силу больших машин с помощью чисел моделировать сложные конструкции. Когда в середине 70-х я собирался заканчивать училище при университете в Беркли, я стал засиживаться допоздна, порой всю ночь напролёт, изобретая новые миры внутри машин. Решение задач. Написание строгого кода.

Ирвинг Стоун в биографическом романе про Микеланджело "Страдание и экстаз"[19] ярко описывает, как Микеланджело высвобождал изваяния из камня, "разбивая мраморные чары", высекая образы своего ума[20]. В мои наиболее восторженные моменты так же вот возникали и компьютерные программы. Однажды вообразив программу в своём уме, я уже чувствовал, что она находится внутри машины, ожидая, когда её высвободят. Бодрствование всю ночь казалось небольшой ценой за то, чтобы освободить её - придать идеям реальную форму.

Через несколько лет я начал выпускать в Беркли некоторые из созданных мною программ: учебную паскалевскую систему, служебные программы для "Unix" и текстовый редактор, именуемый "vi" (который, к моему удивлению, широко применяется до сих пор, спустя более чем 20 лет). Этими программами могли пользоваться люди, имевшие небольшие мини-ЭВМ, подобные "PDP-11" или "VAX". Эти рискованные предприятия в конечном счёте вылились в берклийскую версию операционной системы "Unix", которая стала личным "бедствием успеха" - её хотело так много людей, что я так и не закончил мою докторскую диссертацию по философии. Вместо этого я получил задание для работы на агентство перспективных исследований министерства обороны США. Работа состояла в приспособлении берклийской версии "Unix" под Интернет и в её исправлении с целью повысить надёжность и оптимизировать для выполнения больших научно-исследовательских программ. Всё это было очень забавно и весьма стояще. И, откровенно говоря, я не видел никаких роботов ни здесь, ни где-либо поблизости.

В начале 80-х я был ещё незаметным. Выпуск в продажу "Unix" шёл очень успешно, и этот мой маленький проект вскоре стал иметь и деньги, и некоторый штат служащих, но проблемой в Беркли всегда была нехватка помещений, а не отсутствие денег - не было комнаты для предоставления её проекту, который в ней нуждался, так что когда объявились другие учредители "Sun Microsystems", я ухватился за шанс к ним присоединиться. В "Sun" многие часы проходили за работой на ранних моделях рабочих станций и персональных компьютеров, и я насладился участием в создании передовых микропроцессорных и интернет-технологий, таких, как "Java" и "Jini".

После всего сказанного, я полагаю, ясно, что я не луддит. Я всегда имел весьма твердую веру в ценность научных поисков истины и в способность могучей техники принести материальный прогресс. За последнюю пару столетий промышленная революция неизмеримо улучшила жизнь каждого из нас, и я всегда желал посвятить себя решению стоящих проблем.

Я не разочаровался. Моя работа имела большее влияние, чем я когда-либо надеялся, а широта её использования превзошла все мои ожидания. Я потратил последние 20 лет, всё пробуя разгадать, как сделать компьютеры столь надёжными, как мне того хочется (они пока и близко не подошли к этому) и как сделать их простыми в использовании (задача, которая решена в ещё меньшей степени). Несмотря на некоторый прогресс, остающиеся проблемы выглядят даже более обескураживающими.

Хотя я сознавал моральную дилемму, окружающую последствия технологий в областях типа оружейных исследований, я не ожидал, что лицом к лицу столкнусь с такими проблемами в моей собственной области, или, по крайней мере, я не думал, что это случится так скоро.

Может быть, всегда трудно видеть более крупные коллизии, пока находишься в вихре событий. Неспособность понять последствия наших изобретений, пока мы пребываем в восторге от открытия и новаторства, представляется общим недостатком учёных и технологов; нами долго правила всё покрывающая страсть знать, которая, собственно, и составляет природу научного поиска, и мы не останавливались для того, чтобы заметить, что продвижение к более новым и более могущественным технологиям может обернуться против нас самих.

Я давно обнаружил, что крупные продвижения в информационных технологиях происходят не от работы компьютерщиков, компьютерных архитекторов или электронщиков, а от работы учёных-физиков. В начале 80-х годов физики Стефан Вольфрам[21] и Бросль Хэсслэчер (Brosl Hasslacher) ввели меня в теорию хаоса и в нелинейные системы. В 1990-х я узнавал о сложных системах из разговоров с Дэнни Хиллисом, с биологом Стюартом Коффманом (Stuart Kauffman), с физиком, лауреатом Нобелевской премии, Мурри Геллманном (Murray Gell-Mann) и с другими. Совсем недавно Хэсслэчер с электронщиком и физиком Марком Ридом (Mark Reed) дали мне понимание потрясающих возможностей молекулярной электроники.

В моей собственной работе, как соразработчик трёх микропроцессорных архитектур - "SPARC", "picoJava" и "MAJC" - и как разработчик нескольких их реализаций, я имел возможность основательно и из первых рук познакомиться с законом Мура[22]. В течение десятилетий закон Мура корректно предсказывал экспоненциальный рост совершенствования полупроводниковой техники. До прошлого года я полагал, что темп продвижений, предсказываемый законом Мура, может продолжаться только до приблизительно 2010-го года, когда будут достигнуты некоторые физические пределы. Мне не было очевидным, что новая технология будет прибывать вовремя для того, чтобы гладко поддерживать повышение производительности.

Но вследствие недавнего быстрого и коренного прогресса в молекулярной электронике - где отдельные атомы и молекулы заменяют литографически начерченные транзисторы - а также в родственных наноразмерных технологиях, мы будем способны в течение ещё 30-и лет удовлетворять или даже превысить темпы прогресса, предписываемые законом Мура. К 2030-му году мы, вероятно, будем способны в большом количестве строить машины, в миллион раз более мощные, чем сегодняшние персональные компьютеры - машины, достаточные для осуществления грёз Курцвейла и Моравека.

Когда эта огромная вычислительная мощность будет объединена с ключевыми достижениями естественных наук и с новыми, глубокими пониманиями генетики, огромная преобразующая сила будет спущена с привязи. Эти сочетания делают доступной возможность совершенно перестроить мир, к лучшему или к худшему: процессы воспроизводства и эволюции, которые в естественном мире ограничены, собираются стать сферой человеческого старания.

При разработке программ и микропроцессоров у меня никогда не было чувства, что я конструирую разумную машину. Программные и аппаратные средства настолько слабы и потенциальные возможности машины "думать" с такой степенью ясности отсутствуют, что, даже в виде возможности, это всегда казалось делом очень далёкого будущего.

Но теперь, с перспективой появления вычислительной мощности человеческого уровня приблизительно через 30 лет, новая мысль напрашивается сама собой: что я, быть может, работаю над созданием инструментов, которые облегчат построение технологии, которая может заместить человеческий род. Как я себя в связи с этим чувствую? Очень неуютно. В течение всей своей профессиональной деятельности я прилагал усилия к построению надёжных программных систем, и мне кажется более чем вероятным, что это будущее не будет таким успешным, как представляется некоторым. Мой личный опыт подсказывает мне, что мы склонны переоценивать наши конструкторские способности.

Учитывая потрясающую силу этих новых технологий, не следует ли нам спросить самих себя, как мы будем с этими технологиями сосуществовать? И если наше вымирание является вероятным, или даже возможным, исходом нашего технологического роста, то не следует ли нам действовать с великой осторожностью?

Первая мечта робототехники состоит в том, что разумные машины смогут делать нашу работу за нас, позволяя нам жить досугом, возвращая нас в Эдем. Всё же в своей истории таких идей, "Дарвин среди машин", Джордж Дайсон предостерегает: "В игре жизни и эволюции за столом сидят три игрока: люди, природа и машины. Я твёрдо на стороне природы. Но природа, я полагаю, на стороне машин." Моравек, как мы видели, с этим соглашается, полагая, что мы вполне можем не пережить столкновения с превосходящей нас породой роботов.

Как скоро могут быть построены такие разумные роботы? Представляется, что предстоящий прогресс в вычислительной мощности сделает это возможным к 2030-му году. А как только разумный робот будет сделан, до породы роботов - до разумных роботов, которые могут делать развёрнутые копии самих себя - останется только небольшой шаг.

Вторая мечта робототехники состоит в том, что мы будем постепенно замещать самих себя нашей робототехнической технологией, достигая почти бессмертия путём загрузки наших сознаний в машину подобно компьютерным программам; это тот самый процесс, про который Дэнни Хиллис думает, что мы к нему постепенно привыкнем и который изящно и подробно описывает Рэй Курцвейл в "Веке духовных машин". (Мы начинаем видеть намёки на это во вживлении компьютерных устройств внутрь человеческого тела, как это было проиллюстрировано на обложке журнала "Wired" 8.02.)

Но если мы будем загружаться в нашу технологию подобно программам, то где гарантия того, что после этого мы будем самими собой или даже людьми? Мне представляется гораздо более вероятным, что робототехническое существование ни в каком подразумеваемом смысле не будет подобно человеческому существованию, что роботы ни в каком отношении не будут нашими детьми и что на этой тропе наша человеческая природа может быть полностью утрачена.

Дата добавления: 2015-05-26