Часть 2. Когнитивные искажения в оценке глобальных рисков

Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа

Можно предложить следующую метамодель глобальных рисков: основным глобальным риском является, с одной стороны, то, что цивилизация одновременно порождает много разных глобальных рисков, а с другой стороны – принципиальная не способность человека и созданных им систем всемирной власти управлять глобальными рисками. Это доходит до уровня парадокса: то, что нам угрожает – это, как выразился Билл Джой, "знания массового поражения". Однако наша неспособность противостоять этим угрозам связана с нашим незнанием. Незнанием самих рисков, а потом незнанием деталей того, кто и где начал реализовывать конкретный риск. Избыток знаний с одной стороны сталкивается с крайним недостатком знаний с другой стороны. Отсюда и единственный (но малоприятный) вывод: уровень контроля должен быть пропорционален уровню угрозы. Знание угроз должно быть равно угрозе от знаний.

Анализу первой половины этой дилеммы была посвящена первая часть этой книги. Здесь же мы рассмотрим причины неспособности человека и созданных им всемирных систем управления адекватно реагировать на возникающие глобальные риски. Полный анализ теории принятия решения относительно глобальных рисков ещё пока написан, и здесь мы ограничимся оставлением списка основных когнитивных искажений, который могут влиять на оценку глобальных рисков и принятие решений.

Когнитивные искажения в оценке глобальных рисков можно уподобить искажениям на неком канале связи. В начале этого канала стоит сама возможность глобальной катастрофы, а в конце – реализация этой возможности. Среда этого канала – это человеческое общество в своей исторической конкретике. Описание этого как «канала связи» условно, но оно поможет нам упорядочить огромную массу когнитивных искажений и прочих ошибок в принятии решений.

То есть когнитивные искажения не витают сами по себе в пространстве. Они приобретают значение в той мере, в какой современное общество оказывается неспособным предотвратить те риски, которые оно технически могло бы предотвратить. Рассмотрим разные этапы прохождения этого сигнала. Для примера возьмём условный физический эксперимент, ведущий к образованию «синей слизи».

1. Фаза незнания. На первой стадии никто не знает о самой возможности «синей слизи». В начале нет никакой возможности об этом догадаться, но потом оказывается, что вообще-то, если бы поставили некие опыты или продумали последствия, то можно было бы догадаться и раньше.

2. Фаза идеи. На следующей стадии появляется человек, который предположил, что «синяя слизь» возможна. Затем он предполагает, что «синяя слизь» приведёт к глобальной катастрофе.

3. Фаза споров. На этой фазе он начинает взаимодействовать с другими людьми, обсуждая возможность «синей слизи». Он сталкивается с огромным количеством непонимания, отвержения. Здесь играет масса когнитивных искажений.

4. Фаза партий. В какой-то момент возникает группа единомышленников. Тут можно вспомнить теорию научных революций Куна. Эта группа единомышленников стремится сообщить о своих идеях лицам, принимающим решения. Идёт политическая борьба.

5. Фаза правительств. Наконец, большинство мировых правительств соглашаются с опасностью «синей слизи». Начинается правительственная активность по борьбе с «синей слизью». Создаются комитеты, принимается протокол по «синей слизи». Аналог – борьба с глобальным потеплением. При этом идея «синей слизи» искажается. Цветут теории заговора о том, что «синей слизи» не существует.

6. Фаза реагирования. Поступают сообщения, что возник очаг «синей слизи» в одной республике. Необходимо немедленно принимать оперативные меры.

Наши рассуждения о глобальных рисках подвержены тем или иным систематическим ошибкам и искажениям, которые оказывают влияние на конечные выводы этих рассуждений, а, следовательно, и на нашу безопасность. «Ошибки» не вполне точное слово – по-английски это называется ‘ cognitive biases ’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения». Когнитивные искажения являются естественным свойством человеческого ума, и в этом нет никакого оттенка «вины», который со школьной скамьи связан с нашим представлением об «ошибках». Однако важно знать, что поскольку когнитивные искажения – это естественное свойство человека, возникшего эволюционным путём, то каждый подвержен им и может найти их в своих рассуждениях. Основной способ исправления когнитивных искажений – эксперимент – не может помочь нам в случае глобальных рисков. Поэтому мы должны гораздо ответственнее подойти к задаче безошибочного мышления о них. При этом важно помнить, что любые списки когнитивных искажений предназначены для поиска ошибок в своих мыслях, а не для победы в спорах с другими людьми, поскольку во втором случае это приведёт только к накоплению ошибок в своей системе и закрытости к новой информации.

Даже если вклад каждой из нескольких десятков возможных ошибок мал, вместе они могут отклонить вероятностную оценку того или иного сценария в разы и привести к неправильному приложению средств обеспечения безопасности. Не трудно убедиться в силе этих ошибок – достаточно опросить нескольких людей, знающих одни и те же факты о человеческой истории, и попросить их дать уверенный прогноз на XXI век – и вы увидите, насколько будут различаться конечные выводы: одни будут уверены в неизбежности исчерпания нефти, другие верить в торжество ветроэнергетики, третьи ожидать мировой пандемии; одни буду считать вероятность применения ядерного оружия огромной, другие полагать, что это крайне маловероятно. Исследователь глобальных рисков должен знать об этих подводных камнях. В этом разделе предпринимается попытка составить список таких ошибок. Использованы работы зарубежных и российских исследователей, а также авторские наработки. Базовым текстом по проблеме является статья Елиезера Юдковского «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков» [Yudkowsky 2008а] в упоминавшемся уже сборнике «Риски глобальной катастрофы». Данный список не заменяет эту статью, в который приведён математический и психологический анализ ряда приведённых здесь когнитивных искажений. Однако многие описания факторов ошибок взяты из другой литературы или обнаружены самим автором. Анализ возможных ошибок в рассуждениях о глобальных рисках является шагом на пути к созданию методологии работы с глобальными рисками, а значит, и к их предотвращению. Интересно стремление разных групп, исследующих альтернативные сценарии будущего, составить своё список интеллектуальных ловушек. Например, недавно появилась статья о ‘ cognitive biases ’, влияющих на оценку теории «пика Хуберта», то есть исчерпания запасов нефти[137].

Цель работы – свести возможные когнитивные искажения в удобный и структурированный список. При этом максимальное внимание уделено полноте списка, а не доказательству каждого отдельного пункта. Однако уже сейчас понятно, что данный список неполон, и его нетрудно расширить по крайней мере вдвое, например, взяв список всех открытых когнитивных искажений и проверив его применимость к глобальным рискам.

Данный список не претендует ни на полноту, ни на точность классификации, и некоторые его пункты могут оказаться тождественны другим, но сказанным иными словами. Подробное разъяснение каждой отдельной возможной ошибки в оценке риска заняло бы весь объём статьи. (см. например, мою статью «Природные катастрофы и антропный принцип» [Турчин 2007b], где одна из приведённых в этой статье возможных причин ошибок разбирается на более чем 20 печатных страницах.)

Вместе с тем важно помнить, что ошибкам в рассуждениях в той же мере свойственная патологическая самоорганизация, как и ошибкам и цепочкам событий, которые приводят к реальным катастрофам. Это означает, что даже небольшие ошибки, приводящие к небольшому отклонению оценок, имеют тенденцию зацепляться одна за другую, взаимоусиливаясь, особенно при возникновении положительной обратной связи с ними.

Ложный вывод – это интеллектуальная катастрофа. Нетрудно проследить на примере реальных аварий, как ошибочные рассуждения пилотов самолётов приводили к катастрофам, и даже обозначить, какие именно ошибки в рассуждениях они совершили. Можно сказать, что почти любая катастрофа происходит из-за человеческих ошибок. Эти ошибки хронологически выстраиваются так: вслед за ошибками в рассуждениях о возможностях идут ошибки в конструировании, в «предполётной» подготовке, в пилотировании, в управлении критической ситуацией, в устранении последствий аварии и в анализе её причин. Наши рассуждения о глобальных рисках в основном относятся к первой стадии, к рассуждениям о возможности и предварительной оценке вероятностей тех или иных рисков. Нет смысла выстраивать стратегию противостояния глобальным рискам до того, как определились приоритеты. Соответственно, приведённые в данной статье ошибки также относятся, в первую очередь, к самой ранней фазе противодействия глобальным рискам. Однако они могут проявлять себя и позже, на стадии конструирования механизмов зашиты и принятия конкретных решений. Тем не менее, в этом тексте не ставится задача об анализе ошибок на более поздних стадиях защиты от глобальной катастрофы, хотя и упоминается ряд причин ошибочных действий «операторов».

Отдельным вопросом является то, когда именно такие ошибки могут случиться. Одни из этих ошибок происходят в процессе дискуссий в «мирное время», когда общество решает, к каким именно рискам ему стоит готовиться. Другие в полной мере проявляются в аварийных ситуациях, когда люди вынуждены быстро оценить их опасность и принять решения. Грубо говоря, принято разделять все ошибки на ошибки «конструктора» и «пилота». Ошибки «конструктора» совершаются большими группами людей в течение многих лет, тогда как ошибки пилота совершаются одним или малой группой людей в течение секунд или минут. Это может быть, вообще говоря, неверно относительно глобальных катастроф, в случае, если ситуация начнёт развиваться настолько быстро, что проектирование и управление будут развиваться фактически в одном темпе.

Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания – то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.

Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: «Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико». Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и в целом не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ-технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью «Природные катастрофы и антропный принцип»), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок – проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.

Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.

Под термином «когнитивные искажения» я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, которые могут оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.

Возможные виды ошибок и когнитивных искажений разделены на следующие группы:

1. Ошибки, возможные только относительно глобальных рисков в силу их специфики.

2. Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.

3. Факторы, оказывающие влияние на принятие неверных решений, могущие проявиться в ситуациях глобального риска.

4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.

5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.) В печатаном варианте книги они рассматриваться не будут.

Глава 2. Ошибки, возможные только относительно угроз существованию человечества

1. Путаница относительно глобальных катастроф и просто очень больших катастроф. Часто путают глобальные катастрофы, ведущие к вымиранию человечества (англ. термин «existential risks»), и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Для первых в Критерием глобальных катастроф является необратимость. Для них в русском языке пока нет устоявшегося краткого термина. Так, Моисеев называл их цивилизационными рисками или катастрофами. В данном труде используется название «глобальные катастрофы». Существует также термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей» [Bostrom 2001].) Разница между этими видами катастроф – не в количестве погибших и испытанных людьми страданий, а в будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на земле вновь будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам (от древних греков остался, по некоторым оценкам, лишь 1 Гб информации, а влияние их на культуру оказалось огромным). Критерием же глобальных катастроф является необратимость.

Примером такой разницы могут служить две катастрофы: в одной вымирает всё человечество, в другой – гибнут все, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. На взгляд отдельного человека никакой зримой разницы между двумя случаями нет. и в том, и в другом он погибнет почти наверняка, вместе со всем, что для него ценно. Однако для человечества как целого разница равнозначна различию между смертью и очень тяжёлой болезнью. Болезнь может быть долгой и мучительной, но закончится выздоровлением, а смерть – лёгкой и мгновенной, но обязательно необратимой.

2. Недооценка неочевидных рисков. Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём и вероятность неизвестны, а для их снижения ничего не предпринимается. Некоторые неочевидные риски известны лишь узкому кругу специалистов, а мнения в оценке их реальности и вероятности зачастую диаметрально противоположны. Для стороннего наблюдателя эти мнения могут выглядеть в равной мере обоснованными, что заставляет выбирать между ними или исходя из личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в которых остаётся ещё много белых пятен.

С ростом знаний о природе и могущества техники постоянно растёт число известных причин возможного человеческого вымирания. Более того, этот рост ускоряется. Потому вполне разумно ожидать, что есть важнейшие риски, о которых мы не знаем ничего. И хуже из них те, о которых мы физически не можем ничего узнать, пока они не реализуются.

Кроме того, очевидные риски гораздо удобнее анализировать. Огромные объёмы данных по демографии, военному потенциалу и запасам сырья, которые можно исследовать детально и подробно, попросту могут заслонять тот факт, что есть и другие риски, о которых известно очень мало. Такие риски не годятся для анализа в численной форме, но тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).

Известно, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами происходящего: ошибки в оценке высоты, степени опасности процесса и т.д.. Наоборот, когда такое понимание имеется, самолёт часто удаётся спасти в совершенно невероятных условиях. И хотя апостериори причины катастрофы понятны, пилотам в тот момент они были совершено неочевидны.

3. Глобальные риски нетождественны национальной безопасности Государства тратят на национальную безопасность больше средств, чем на глобальную. Однако глобальные риски – гораздо большая угроза для каждой страны в отдельности, чем национальные: просто потому, что если погибнет мир, то и страна вместе с ним. Причём часто действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны повышает, – во всяком случае, по мнению её руководства – наращивание запасов ядерного и бактериологического оружия. Однако гонка вооружений снижает безопасность мира в целом! Или, например, проблемой РФ является депопуляция, а для всего мира – перенаселение (равно как и для Москвы). Ещё пример: один американский фонд (Lifeboat.com) реализует проект по предотвращению глобальных рисков и террористических атак на США. Но для нас понятно, что первое и второе – не одно и тоже.

4. Ошибка, связанная с психологизацией проблемы. Издавна существует архетип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, неудачи в финансах и личной жизни. Однако истинность или ложность такой интерпретации психологических мотивов не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если дело не касается их собственной жизни.

5. Отождествление глобальной катастрофы со смертью всех людей и наоборот. вымирание человечества не означает гибели всех людей, и наоборот. Легко представить сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства... Или если, – допустим такой фантастический сценарий, – инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам... Это будет означать конец цивилизации, хоть огромное большинство людей и останется в живых в течение значительного времени

Более того, все живущие в настоящий момент люди, если не изобрести радикальное средство продления жизни, вымрут к началу XXII века, равно как к настоящему моменту вымерли люди, жившие в XIX веке. Однако это мы не рассматриваем как глобальную катастрофу, так как сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.

6. Стереотип восприятия катастроф, который сложился в результате работы СМИ. СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт просмотра телевизионных репортажей с мест катастроф выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.

Риски в СМИ регулярно освещаются непропорционально. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу: реальный ущерб часто непропорционален его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограничено, сообщения СМИ создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).

Дата добавления: 2015-07-13