Преувеличение прогностической ценности экстраполяции

Трудности в определении понятия глобального риска в связи с нечёткостью его объекта.

Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала». «Пограничный вопрос» касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других крайних случаев. Важно помнить историческую изменчивость этих границ: ещё пару веков назад дикаря или раба не считали за человека даже образованные люди, а теперь нередко к разумным существам причисляют китов и дельфинов. Было ли истребление неандертальцев, с точки зрения неандертальцев, гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола. Одни группы людей сочтут «глобальной катастрофой» то, что другие готовы приветствовать. Это рождает возможность опасной конфронтации.

26. Психологическая особенность восприятия рисков: «пренебрежение масштабом». Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе выражаемое в готовности потратить деньги [Yudkowsky 2008b]. В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.

Потенциальная ошибочность надежды на то, что «кривая (то есть график роста) вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, каковой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, столь комплексный, как если бы эти кривые были самостоятельными живыми организмами. В частности, развито понимание того, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». Тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» – анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная со знаменитого казуса, что уровень навоза в Лондоне сделает движение по городу невозможным, и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой приведёт нас в «золотой век», где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски не исчезнут.

28. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света. А.П. Назаретян [Назаретян 2001] описывает базовую потребность людей в сильных эмоциях и экстремальных ощущениях. Эта потребность побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. Типичный пример: физическое ограничение скорости машин до 50 км/час заметно сократило бы число автомобильных аварий, но большинство водителей на это не согласится. И нельзя недооценивать эту «скуку». При этом люди всегда «рационализируют» свои иррациональные потребности.

29. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска. С детства выученные представления о поражающих факторах ядерного оружия существенно отличаются от факторов принятия решения о его применении, – и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а Ии сам по себе не может причинить вреда – он может только управлять разными видами оружия.

Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. Если человек погиб на войне, это лишь очерчивает множество возможных причин его смерти, но не сообщает однозначно, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: дело может быть в бытовой ссоре, или самоубийстве, или даже несчастном случае на охоте. Ясно, что война и выстрел – относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения.

30. «Шок будущего»: когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей. Выделяют пять уровней «Шока будущего». Само понятие введено футурологом Э.Тоффлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные от человека к человеку. Каждому уровню возможного будущего соответствуют свои глобальные риски – и способы противостояния им. При этом все варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко в оценке шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего:

Шок 0-ого уровня – уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.)

Шок 1-ого уровня – уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.)

Шок 2-ого уровня – технологии, описанные классической научной фантастикой середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян)

Шок 3-его уровня – сверхтехнологии, возникшие на горизонте лишь в конце ХХ века: нанотехнологии («умная пыль»), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: «серая слизь», сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей)

Шок 4-ого уровня – концепция о «Сингулярности» – гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса, неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу «технологическая сингулярность».

Каждый исследователь будущего имеет свой горизонт возможного и невозможного, определяемый скорее психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация «ослепления будущим», когда угрозы невероятных катастроф затмят в глазах человека обычные риски. Это порождает специфические ошибки прогнозирования, связанные с уровнем шока будущего. При этом реальные риски глобальной катастрофы имеются на каждом уровне, и крайне сложно учесть все одновременно.

Катастрофа ядерной войны «понятнее», чем «псевдодружественный ИИ».

31. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной. Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, ведущие к системному эффекту. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут вызвать быстротекущую – как, например, СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотехнологии упростят создание ядерных бомб, ИИ упростит продвижение нанотехнологий, а нанотехнологии позволят раскрыть тайны мозга, что приблизит создание ИИ. Громадное количество обратных связей приводит к сложным взаимозависимостям глобальных рисков.

Конвергенция рисков происходит параллельно с конвергенцией ключевых современных технологий, называемых NBIC (nano - bio - info - cogno), то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге.

32. Недооценка системных факторов глобального риска. Системные факторы – это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе. Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Это противоречие не локализовано в каком-то одном месте, и не зависит ни от одного конкретного ресурса или организации. Реальны самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают всё большее число участников, но не зависят от поведения ни одного из них и не имеют центра.

33. Призыва типа: «Мы все должны бороться за мир». Нескоординированное приложение усилий в борьбе за спасение планеты приводит к ситуации, описанной в знаменитой басне. Множество людей и организаций тащит эту телегу с той же эффективностью, как «лебедь, рак да щука».

34. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы. Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само может рассматриваться как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они – немногочисленные и лишённые технологий – окажутся гораздо уязвимее к любым другим факторам риска. Это поднимает значение тех факторов, которые обычно обозначаются как «глобальные риски». Например, падение астероида, размером с Апофис (Apophis 99942, пролёт Земли в 2029 году, диаметр около 400 м.) само по себе не может истребить человечество. Взрыв составит лишь порядка 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившим остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году (~200 мегатонн тротилового эквивалента). Однако в силу высокой связности современной цивилизации, резко возрастает роль отдалённых последствий катастрофы – как экономических, так и структурных. Огромная волна-цунами от падения Апофиса привела бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному – с соответствующим нарастанием необратимых последствий.

35. Когнитивное искажение, основанное на мысли: «Это слишком плохо, чтобы быть правдой». Человеку свойственно мысленно защищаться от негативных сценариев, приписывая им меньшую вероятность или вообще отказываясь о них думать. Например, нетрудно представить абстрактный «разбитый автомобиль», но труднее представить будущие обломки своего автомобиля. Иначе говоря, вместо того, чтобы избегать некого события, человек избегает самой мысли о нём. Очевидно, глобальная катастрофа, уничтожающая всё, что нам ценно, в наибольшей мере соответствует определению «слишком плохого». Глобальная катастрофа хуже, чем смерть, потому что включает её в себя.

36. Когнитивное искажение, основанное на мысли: «Это слишком невероятно, чтобы быть правдой». Имеется множество исторических примеров, как нечто «невероятное» вдруг стало возможным, и даже обыденным: самолёты, атомные бомбы, Интернет. Более того, стало смертельно опасным. Надо отделять «невероятное» от физически невозможного. Но даже и последнее может обрести в будущем реальную вероятность.

37. Идеи о торможении создания и распространения новых технологий как способе противостояния глобальным рискам. Эта идея кажется привлекательной, так как обещает видимый результат в краткосрочной перспективе. Но любая группа стран, которая продвигает эту идею, в конечном счёте, проиграет другой группе, которая тайно или явно продолжает развивать опасную, но эффективную технологию.

38. Представления о том, что человеческая адаптируемость высока и продолжает неограниченно расти благодаря новым технологиям. Это верно, однако опасность состоит в том, что средства разрушения, доступные людям, совершенствуются быстрее, чем средства защиты.

39. Неспособность системы смоделировать саму себя. Хотя мы не можем исследовать глобальные катастрофы экспериментально, можно рассчитывать, что, благодаря успехам компьютерного моделирования, станет возможно просчитать некоторые модели в виртуальном пространстве. Однако эта возможность ограничена рядом обстоятельств. Во-первых, мы всё равно не учтём неизвестные факторы – например, расположение опасных комет или особенности физических законов. Во-вторых, такая модель не может быть полна, так как она не включает моделирование того, что мы осуществляем акт моделирования. Иначе бы получилась бесконечно большая модель, как в случае отражения двух зеркал друг напротив друга. Это является следствием математического принципа: множество не может содержать, в качестве элемента, само себя. То есть одно дело – прогноз будущего, а другое – прогноз с учётом влияния, которое окажет данный прогноз. Только достаточно грубая модель может быть рассчитана. Если мы исследуем будущее системы с искусственным интеллектом, то это не работает, так как модель мира также должна содержать ИИ, который имеет в себе модель мира, в результате чего получается бесконечная цепочка.. В-третьих, наши данные о мире и принципы моделирования должны быть абсолютно точны, что тоже трудно достижимо. Невозможно выбрать правильную модель, не проведя эксперимент. Чтобы предсказать возможность глобального потепления, нам нужна правильная модель. Чтобы узнать, какая именно модель правильная, нам нужен эксперимент. И этот эксперимент будет надёжным, только если в ходе него произойдёт глобальное потепление, иначе это будет лишь интерпретация, то есть ещё одна модель.

40. Неспособность человека представить собственную смерть. Неспособность людей представить собственную смерть ведёт к недооценке ситуаций, в которых она может произойти, поскольку и сами ситуации непредставимы – или представимы только с точки зрения внешнего наблюдателя, который выжил. Человек не может представить «ничто», которое наступит, в соответствии с атеистическими концепциями, после смерти. На это накладывается нежелание признавать свою смертность. Поэтому легче представлять глобальную катастрофу с точки зрения выжившего, что, соответственно, делает её не глобальной.

41. Подход к жизни в духе: «После нас хоть потоп». В этой модели мышления ожидаемый полезный результат должен быть получен в некий короткий промежуток времени в будущем. Самым ярким примером является ситуация, описанная в приведённой пословице, где граница полезности совпадает с ожидаемой продолжительностью жизни. Однако часто бывает, что эта граница даже ниже. Например, для автогонщика или наркомана вся ожидаемая полезность должна быть получена сегодня вечером, а что будет дальше - не важно. У нормальных людей ожидаемая полезность распространяется на детей и внуков, что закреплено эволюционно, но на прапрапраправнуков – нет. Таким образом, существует определённый психологический горизонт полезности, события после которого человека уже не волнуют – во всяком случае, настолько, чтобы тот был готов ради них на какие-то траты. Конечно, это оправдывается тем, что «они сами там со всем разберутся».

Более того, мысль о том, что «я умру не один, а вместе со мной умрёт всё человечество», может быть более привлекательна, чем мысль, что «я умру, а другие останутся наслаждаться жизнью». Отчасти поэтому некоторые больные СПИДом нарочно стараются заразить как можно больше людей.

42. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели. Подобная позиция подразумевает, что можно рискнуть выживанием человечества ради некоторых других целей. Ник Бостром определяет эту позицию через принцип Максипока: «Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы».

43. Религиозные мировоззрения и эсхатологические культы. Изучению проблем глобальных рисков мешает то, что эта территория испокон веков закреплена за религией. Поэтому за любыми дискуссиями тянется шлейф ненаучности. Ключевое отличие эсхатологических культов – концентрация на дате события и «откровение» или пророчество как способ её обнаружения (в духе распространённого поверия о том, что календарь Майя, и мир вместе с ним, заканчиваются в 2012 году). Такие культы часто носят социально-деструктивный характер, побуждая людей отказаться от жизни в «обречённом» обществе, и поэтому вызывают враждебность в обществе. Так, в 2007 году внимание СМИ привлекла группа сектантов, закрывшихся в пещере в Пензенской области в ожидании «конца света». Наоборот, для научного анализа «дата конца света» не принципиальна, а важны вероятности и механизмы рисков.

Надо отметить цикличность общественного внимания в связи с этими прогнозами. Регулярно возникает очередная «дата» конца света, которая эксплуатируется в кино и в жёлтой прессе, одни люди в связи с этим начинают интересоваться проблемами глобальных катастроф, другие публикуют опровержения. Эта цикличность не согласуется с относительно плавным распределением глобальных рисков.

45. Неопределённость значений новых терминов. Описывая угрозы глобальной катастрофы, мы пользуемся терминами, значения которых пока ещё не имеют однозначной интерпретации, хотя бы в силу того, что они описывают ещё не случившиеся события и не созданные технологии. Совместное использование нескольких таких терминов увеличивает «люфт» возможных значений и приводит к непониманию. Если бы мы знали, что такое «искусственный интеллект», мы бы уже могли его создать. Это создаёт принципиальную неопределённость в значении этого термина до того, как ИИ будет создан.

Глава 3. как когнитивные искажения, которые могут касаться любых проблем, влияют на оценку глобальных рисков

1. Основной причиной человеческих ошибок является сверхуверенность. Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её существенно изменить при поступлении новой информации. Иначе говоря, сверхуверенность означает неспособность человека предположить, что он в настоящий момент ошибается. Поэтому в каком-то смысле сверхуверенность относится к ошибкам о природе ошибок. Сверхуверенность закреплена несколькими психологическими механизмами, и вероятно, имела эволюционное значение. Поэтому обнаружить её в себе и искоренить очень трудно. Человек, демонстрирующий большую уверенность, может претендовать на большую власть в обществе. И, вероятно, само устройство человеческого мышления противоречит идее рассмотрения множества равновероятных вариантов будущего: гораздо привычнее думать о том, что нечто или есть, или его нет. Само слово «будущее» употребляется в единственном числе, как будто оно одно. Наконец, выбор, сделанный однажды в пользу некой интерпретации идеи, становится фильтром, который подбирает информацию так, чтобы она подтверждала эту идею.

2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых. Медленные процессы удобнее анализировать, и по ним накоплено больше данных. Однако системы легче адаптируются к медленным изменениям и часто гибнут от быстрых. Катастрофы опаснее угасания. При этом медленное угасание делает систему уязвимой к быстрым катастрофам. Разработка новых технологий – нано-, био-, ИИ, когнитивных наук – относится к быстрым процессам. Их стремительное развитие затмевает любые процессы, которые будут проявлять себя после 2030 года. Однако это не значит, что надо совсем отказаться от анализа медленных вековых изменений.

Дата добавления: 2015-07-13