Часть 1. Анализ Рисков 1 страница

Глава 1. Общие замечания

1.1 Пространство возможностей

В первой части книги мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. «Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей «холодной войны», которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность именно его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем, анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.

Один из важнейших способов достижения безопасности – учёт всех возможных сценариев в соответствии с их вероятностями, то есть построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, описание должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.

Обратите внимание, что при чтении одни моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.

Вся информация взята из открытых источников, приведённых в списке литературы.

1.2 Рассматриваемый промежуток времени: XXI век

Есть два различных класса прогнозов – о том, что именно произойдет, и о том, когда это случится. Идеальный прогноз должен отвечать на оба эти вопроса. Однако, поскольку до идеала в прогнозах обычно далеко, то одни прогнозы лучше говорят о том, что будет, а другие о том, когда. Наилучший результат в отношении времени события можно получить, вообще не вникая в фактическую суть событий, а анализируя события статистически. Например, если знать, что рецессия в США бывает в среднем раз в 8 лет с разбросом плюс минус два года, можно неплохо угадывать время следующей рецессии, не вникая в её фактически причины. C другой стороны, анализируя фундаментальные причины событий, можно совершить значительную ошибку в оценке времени их наступления, которое часто зависит от случайных и невычислимых факторов. Например, мы наверняка можем утверждать, что рано или поздно в районе Калифорнии произойдёт мощное землетрясение силой до 9 баллов, связанное с подвижкой океанической коры под материковую, то есть мы знаем, что произойдёт землетрясение, но не знаем, когда.

Исследуя глобальные катастрофы, возможные в XXI веке, мы в нашей работе пытаемся ответить на оба вопроса, поскольку мы описываем не только их механизмы, но и утверждаем, что эти механизмы могут реализоваться в течение ближайших нескольких десятков лет. Возможно, некоторым читателям будет проще допустить возможность реализации этих механизмов не через 30, а, допустим, через 300 лет. Таким читателям можно сказать, что, исходя из принципа предосторожности, мы рассматриваем наиболее опасный сценарий наиболее быстрого развития ситуации, и что действительно возможно, что эти же самые события произойдут значительно позже. Но следует заметить, что Р. Курцвел, рассматривая вопрос ускорения темпов исторического времени и скорости технологического прогресса, предлагает считать XXI век равным по объёму инноваций предыдущим 20 000 годам человеческого развития.

В нашей книге анализируются угрозы существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем сейчас ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница 2100 года является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года).

Некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Граница 2100-ого года позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 – это станет очевидным из дальнейшего анализа конкретных рисков.

Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение ближайших нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени, возможно, содержит неустранимую ошибку, я расширяю её до 100 лет. Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни двадцати, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в разделе «Неизбежность достижения устойчивого состояния» главы 19 «Многофакторные сценарии».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.

Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, поскольку существует класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт, в первую очередь, об опасных практических приложениях биотехнологий (см. дальше в главе 4). Поэтому возможно, следовало бы говорить о первой половине XXI века. Иначе говоря, глобальные катастрофы могут случиться не с нашими потомками, а именно с нами. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.

Предлагаемый далее список возможных угроз наверняка не полон. Скорее всего, от широкой публики определённое количество рисков скрывают (просто потому что нас не считают экспертами в области ИИ, атомного оружия, коллайдера и т. д.) Почти наверняка от нас скрывают некие новые виды вооружений.

1.3 Проблемы вычисления вероятностей различных сценариев

Чтение этого раздела можно пропустить без ущерба для дальнейшего понимания текста. Основной вывод состоит в том, что невозможно вычислить объективные вероятности глобальных катастроф, поскольку это уникальные события, и поскольку наше сознание подвержено сильным когнитивным искажениям. Поэтому мы должны приписывать этим катастрофам некие условные вероятности, которые эквивалентны ставкам в игре. Пример такого подхода даёт Бостром, когда говорит, что было бы неразумно считать вероятность вымирания меньшей, чем 25 %. «Разумность» оценки состоит в том, что до определённого порога мы повышаем вероятность выживания человечества, если завышаем оценку вероятности катастрофы.

Сам по себе вероятностный подход к анализу глобальных рисков может создать иллюзию знания там, где мы на самом деле ничего не знаем, и поэтому его следует применять с определённой осторожностью.

Вот цитата из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...» [Лем 1995].

Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей, а также — с хаотическим характером всей системы.

Само понятие «вероятность глобальной катастрофы» в смысле «вероятность конца света» внутренне противоречиво, так как речь идёт об, по определению, однократном событии. Даже если такое событие будет необратимо надвигаться, нам не удастся узнать, стали мы жертвой крайне случайного или закономерного события. (А если учесть эффект многомирного бессмертия, то я-наблюдатель вообще никогда не смогу обнаружить глобальную катастрофу, так как всегда найдётся мир, в котором я выживу. Но при этом я могу быть свидетелем гибели оставшейся цивилизации и быть последнем выжившим в бункере, и такой расклад должен быть приравнен к окончательному вымиранию.)

Концепция того, что такое вероятность, претерпела длительную эволюцию, и в ней есть два направления – объективистский, где вероятность рассматривается как доля событий из некого множества, и субъективистский, где вероятность рассматривается как мера нашего незнания[14]. Тот и другой подход применим к определению того, что считать вероятностью глобальной катастрофы. Далее мы обсудим три «объективных» подхода к вычислению вероятности – а именно распределения по множеству возможных будущих, по множеству всех цивилизаций в галактике и по доле различных миров в Мультиверсе, и два «субъективных» – как точную меру нашего незнания и как рациональные ожидания отдельных людей. Чтобы сделать изложение понятнее, мы в каждом случае приведём оценки вероятности для двух принципиально различных случаев – вероятности катастрофы в результате падения астероида и рисков возникновения враждебного ИИ.

А) Абсолютная вероятность – эта та доля тех возможных будущих нашей планеты, в которых она гибнет от данной причины в данный период времени – с учётом всех наших возможных усилий по ее предотвращению. Абсолютная вероятность нам неизвестна и даже не может быть известна, так как это привело бы к логическим парадоксам (а именно, если бы мы знали, что вероятность события Х равна нулю, мы перестали бы от него защищаться и тогда бы она стала не равна нулю). Знание абсолютной вероятности предполагает наличие полного знания о всей Солнечной системе и далёких звездах – например, траекторий всех астероидов, состояния всех предсверхновых и т. д. В идеале все наши оценки вероятности должны стремиться к абсолютной вероятности. Если бы мы жили в чисто механической и вычислимой вселенной, то вместо абсолютной вероятности было бы точное знание времени наступления события. Но поскольку наша вселенная обладает квантовой неопределённостью, и неопределённостью, связанной с усилением малых изменений в духе теории хаоса, то «демон Лапласа» (то есть сверхкомпьютер, который мог бы предсказать всё будущее вселенной, если бы знал настоящее) не работает точно, а может знать только вероятность. В случае астероидов вероятность вымирания людей в XXI веке либо равна нулю, если угрожающих нам астероидов нет, либо равна примерно 50 %, если такой астероид есть. Неопределённость последней величины зависит от неопределённости того, сможет ли человечество отклонить этот астероид, что в свою очередь зависит от крайне хаотического хода человеческой истории и разных случайностей в процессе подготовки к запуску антиракет. Примерно та же ситуация и с ИИ – если он технически возможен в ближайшее время, то есть значительные шансы его возникновения и враждебного использования; в противном случае шансы равны нулю. В случае, если квантовая неопределённость будущего мала (а мы не можем пока сказать, насколько неопределённость влияет на развитие общественных и физических процессов), то абсолютная вероятность превращается в предопределённый срок. Или предопределённый срок плюс-минус небольшое отклонение. Например, принято считать, что предопределённый срок жизни человека – 100 лет (плюс минус 30). Или что предопределённый срок существования Солнца – 5 млрд. лет (плюс минус 2)

Б) Безусловная абсолютная вероятность – это вероятность того, что мы погибнем от некоторой данной причины, при условии, что мы не погибнем от других причин до того – и что мы ничего не будем делать, чтобы отвратить эту опасность. И наоборот – условная вероятность вымирания – эта вероятность гибели от данной причины с учётом (то есть при наличие условий) того, что мы можем погибнуть до того и от других причин (например, если шанс погибнуть в XXII веке от падения астероида равен 10 %, но при этом в силу рисков от развития новых технологий шанс человечества дожить до XXII века составляет тоже 10 % (то есть шанс вымереть – 90 %), то полная вероятность вымереть в XXII веке равна только 1 %, что резко изменяет направление приложения усилий.) Условная вероятность также включает в себя предположение о том, что мы сделаем всё возможное на данном этапе развития техники и цивилизации для предотвращения катастрофы – то есть она означает тот остаток риска, который мы не можем предотвратить никакими своими реальными усилиями. А для разных рисков возможность их предотвратить различна. Например, если технологическая цивилизация продолжит своё развитие в XXI веке, то к XXII веку она сможет отклонять любые, даже самые большие опасные астероиды.

В) Средняя вероятность – это вероятность погибнуть от данной причины для цивилизации нашего типа. Эта вероятность есть доля цивилизаций, погибших от данной причины, из всех цивилизаций в нашей вселенной. Аналогом ей является средняя продолжительность жизни человека. Однако в случае гибели цивилизаций у нас нет статистики по другим цивилизациям (и не может быть, так как если бы мы установили коммуникацию с другой цивилизацией, то нас следовало бы считать единой цивилизацией). Средняя вероятность может резко отличаться от абсолютной вероятности из пункта А в силу конкретных особенностей нашей звёздной системы и нашего исторического пути, а также эффектов наблюдательной селекции и т. д. При этом к средней вероятности применимо понимание о причине (ядерная война), но неприменимо понимание о промежутке времени (XXI век), так как у разных цивилизаций разные временные шкалы – и имеет смысл составлять такую классификацию только для всего времени существования цивилизации. Опять-таки, среднюю вероятность может знать только господь Бог или сверхцивилизация, наблюдающая многие цивилизации низшего уровня. Но мы можем рассуждать о средней вероятности на основании парадокса Ферми и т. д. Исходя из принципа Коперника (meritocracy principle), мы должны считать, что мы, скорее всего, являемся обычной цивилизацией, и следовательно, в нашем случае, абсолютная вероятность равна средней вероятности, во всяком случае, до того момента, как мы получим некую конкретную информацию об особенности нашей цивилизации (отличающей ее от других), которую мы можем учесть. Отметим, что поскольку мы живём в середине технологической эры, то эффект наблюдательной селекции приводит к тому, что мы недооцениваем вероятность того, что мы могли вымереть в период с 1945 по 2009 год, а в силу этого абсолютная вероятность вымирания для нашей цивилизации в оставшееся время жизни МЕНЬШЕ, чем средняя вероятность вымирания цивилизаций по Галактике (например, если большинство цивилизаций в Галактике погибает в первый годы после изобретения ядерного оружия). Далее, идея о средней вероятности должна опираться на некую идею, какова окончательная судьба всех цивилизаций. Если судьбы всех цивилизаций прослеживаются до их конца, то сумма всех средних вероятностей по разным причинам должна быть равна 100 процентам – по определению. Либо должен предполагаться некий порог, за которым цивилизации считаются бессмертными – например, переход на галактическую фазу развития, Сингулярность и т. п. Далее, средняя вероятность существенно зависит от референтного класса того, что мы считаем разумными цивилизациями. (Например, нечто вроде муравьёв с зачатками письменности на некой планете, остановившихся в своём развитии – должны ли мы их считать?) Обычно речь идёт о технологических цивилизациях – подобных нашей. Но здесь есть ловушка – чем в большей мере мы сужаем референтный класс до подобности нам, тем в большей мере мы делаем зависящим его от случайных особенностей нашей цивилизации. Наконец, средняя вероятность не даёт нам погодовой плотности вероятности (кроме некоторых частных случаев, вроде взрывов сверхновых), в отличие от абсолютной вероятности, то есть мы не можем сказать, что вероятность события X равна 1 процент в год – поскольку разные цивилизации могут развиваться с разным темпом. Всё же есть попытки превратить среднюю вероятность в ожидаемую продолжительность существования внеземных цивилизаций, – это важно для оценок времени, в течение которых возможна коммуникация с внеземными цивилизациями (Шкловский об этом писал, называя это коммуникативной фазой цивилизации). Можно предположить, что скорость прогресса у других цивилизаций зависит от скорости обработки ими информации, то есть от быстродействия их мозгов, которая может быть в 10 раз больше, и в 10 раз меньше. Однако тут должны быть универсальные эволюционные ограничения. Кроме того, не ясно, должны ли мы учитывать цивилизации только в нашей вселенной, или во всех возможных вселенных с разными физическими законами – это важно при оценке рисков физических экспериментов. Средняя вероятность гибели цивилизации от падения астероида должна быть крайне мала, на уровне 1 к миллиону, так как продвинутые цивилизации просто бы не возникли в тех звёздных системах, в которых столкновения часты. Мы имеем неплохие шансы рассчитать довольно точно эту среднюю вероятность для астероидов, исходя из среднего возраста планетных систем и других данных астрономических наблюдений. В случае же ИИ эта средняя вероятность является полностью неизвестной, так как у нас нет никаких данных, чтобы сделать о ней какие-либо выводы.

Г) Многомирная вероятность. Предположим, что есть бесконечное множество вселенных, называемое Мультиверсом (неважно, существуют ли они реально, или являются только возможными, а также не важно, речь идёт о мультиверсе квантовом, или просто о бесконечно большом мире). Среди него есть подмножество вселенных, в которых есть планеты, соответствующие нашим знаниям о Земле. Иначе говоря, наше знание создаёт сечение Мультиверса и выделяет из него некое подмножество. Например, подмножество всех обитаемых планет с массой, как у Земли. Однако внутри этого подмножества есть разные планеты, скажем, различающиеся особенностью своего внутреннего устройства. Некоторые из них более склонны к катастрофическим вулканическим извержениям (дегазация мантии). В этом случае вероятностью катастрофы будет та доля планет в этом подмножестве, на которых эта катастрофа произойдёт в определённый промежуток времени. По мере того, как наши знания о Земле растут, неопределённость нашего знания падает, и подмножество планет, соответствующих нашему знанию, сужается, а также меняются наши знания об источниках рисков. Это приводит к изменению многомирной вероятности. Хотя многомирная вероятность и неизвестна нам, но является объективной величиной. Мультиверс включает в себя разные конфигурации Солнечной системы, совместимые с нашими знаниями о ней, в том числе с разными орбитами ещё не открытых астероидов или тёмных комет. По мере того, как у нас появляются всё более мощные телескопы, мы всё больше сокращаем неопределённость в знании о Солнечной системе и всё меньшая доля ее возможных вариантов оказывается совместимой с существованием крупных опасных астероидов – в ближайшем будущем, то есть в течение ближайших десятилетий. (Но в более отдалённом будущем могут прилететь опасные кометы из облака Оорта, которых мы пока не можем наблюдать.) Надо очертить разницу между знанием, о котором речь идёт в этом параграфе, и между знанием, связанным с рациональными ожиданиями – в первом случае речь идёт о невыраженном знании, например, в виде чистой фотопластинки, а во втором – о численной оценке, выведенной из всей совокупности полученных данных.

Д) Рациональные ожидания. (Информационная вероятность, или субъективная вероятность или байесова вероятность.) Эта вероятность является мерилом того количества информации, которое у нас есть о будущем, то есть того, что мы должны ожидать, исходя из всех имеющихся у нас знаний. В байсовом смысле она означает то, какой вес мы можем придать тем или иным гипотезам в соответствии с теми свидетельствами, которые мы получили. Однако даже рациональные ожидания являются недостижимой абстракцией, поскольку возникает вопрос, а кто, собственно, обладает этими знаниями. Идеальные рациональные ожидания должны исходить из всей суммы знаний, известной человечеству, однако ни один человек не знает всей этой информации и не способен ее рационально оценить, по причине когнитивных искажений и ограниченных вычислительных ресурсов мозга. Реальный человек не может учесть точно все гипотезы в математической форме, однако он принимает решение, исходя из всей полноты доступного ему знания – такая оценка вероятности становится субъективной вероятностью, или просто экспертной оценкой. Экспертная оценка – это результат сложения всех мнений с учётом представлений о достоверности этих мнений одним человеком. Метод Форсайта (и другие методы вроде голосования, рынка предсказаний и т. п.) используется, чтобы просуммировать мнения разных экспертов, сгладив их личные когнитивные искажения. Надо сказать, что это и есть та вероятность, какая нам обычно известна, и нам остаётся только надеяться, что, получив достаточно свидетельств, мы можем приблизить ее в начале к чистым рациональным ожиданиям, а затем их – к абсолютной вероятности.

К сожалению, в отношении большинства наиболее серьёзных угроз (био, нано, ИИ) мы не можем говорить о том, что есть какие-то данные, которые ведут себя как обычная случайная величина. Например то, окажется ли будущий ИИ враждебным человеку или нет – никак не зависит от сегодняшнего состояния нашей Солнечной системы. Возможно, что ИИ становится враждебным человеку всегда (мнение Омохундро [Omohundro 2008]) за счёт своей естественной эволюции, а возможно, что не трудно заложить в него правила дружественности (законы робототехники Азимова). Это всё равно что рассуждать о том, каковы шансы, что теорема Пифагора истинна. Идея здесь в том, чтобы рассматривать эти невероятностные события как вероятностные, и приписать им вероятность, пропорциональную, скажем, доле и авторитетности экспертов, подтверждающих эту точку зрения.

При этом вероятность рассматривается не как точное число, а с точностью до порядка или ниже. Кроме того, неопределённость в вероятности иногда можно уменьшить сразу, применив ее в анализе ожидаемого ущерба и расходов (cost-benefit анализе), то есть сразу умножив ее на ожидаемый ущерб и сравним ее с ожидаемыми преимуществами. Поскольку в случае глобальных катастроф речь идёт о бесконечно большом ущербе, то это умножение должно стирать разницу между в количественной оценке вероятности. Например, как запуск, так и отказ от создания ИИ включают в себя бесконечный ущерб, тогда как запуск коллайдера означает бесконечный ущерб, а отказ – только конечный. Рассуждая таким образом, мы можем придти к тем или иным решениям, не опираясь на окончательные численные оценки вероятности.

Другой вариант учёта – это то, что теория, истинность которой зависит от нескольких произвольных предположений, имеет меньшие шансы быть истинной, чем, теория, зависящая только от одного предположения. То есть мы можем сравнивать вероятности в духе больше-меньше, опять-таки избегая количественных оценок.

То, что знает один человек в качестве вероятности – это всегда его экспертная оценка, хотя он может ошибочно думать, что это точные рациональные ожидания или даже сама абсолютная вероятность. То есть возникает ошибка, когда человек ошибочно приписывает своим оценкам тот статус, который они не имеют. Карта – это не территория, и наши оценки вероятности – это не сама реальная вероятность, которая остаётся вещью в себе.

Помимо оценки вероятности есть так же степень уверенности. Когда некий человек говорит, что он на 90 % уверен в том-то, это не значит, что он полагает, что вероятность этого события – 90 %. Он имеет в виду, если его понимать буквально, то, что из 10 его высказываний такой же степени уверенности, только 9 будут истинными. В случае высказывания о вероятностном событии степень уверенности должна умножаться на оценку вероятности. (Например, такое высказывание: «Я на 90 процентов уверен, что вероятность выпадения этой монеты орлом равна ½».) К сожалению, как показывает Юдковски, людям свойственно переоценивать степень уверенности в своих высказываниях, которая автоматически считается равной 100%, а неуверенность считается признаком слабости и некомпетентности. В отношении разных сценариев глобальной катастрофы я имею разную информированность и разную степень уверенности. Выражением степени уверенности может быть не только оценка в процентах (от 50% до 100%), но и расширение интервалов, в пределах которых может лежать искомая величина.

В некоторых случаях может иметь смысл случайное поведение в ответ на неизмеримую опасность – например, если все цивилизации посчитают опасный эксперимент X безопасным, так как вероятность катастрофы, по их оценкам, в его ходе очень мала, то все цивилизации погибнут. Однако если все цивилизации будут случайным образом решать, какие эксперименты проводить, а какие нет, то погибнет только половина цивилизаций. Ещё один способ получить рациональные ожидания (но не абсолютную вероятность) – это использование статистики по прошлым данным, например, в духе формулы Готта (см. далее про Doomsday argument) или закона последования Лапласа[15], но это ограничено наблюдательной селекцией. (Например, из того, что последняя ядерная война была 63 года назад, из закона последования следуют ее шансы 1/65 на следующий год. Хотя этот способ оценки отвлекается от всей конкретики сегодняшнего дня, он может давать лучший результат, так как в нём некуда затесаться когнитивным искажениям, как это показал Каннеман в статье «Робкие решения и смелые предсказания: когнитивные перспективы в принятии рисков» в разделе «внешний и внутренний взгляд на проблему» [Kahneman 1993], когда описывал историю планировании одного проекта. Там приводится пример о том, что оценка времени завершения проекта, сделанная на основании сравнения с другими проектами, оказалась гораздо более точной, чем оценка, сделанная участниками данного проекта, обладавшими всей полнотой данных о проекте – а именно 7–10 лет до завершения проекта вместо ожидавшихся 1,5 лет.)

Все эти вероятности нам могут быть известны только с определённой точностью, +/- Х, которая складывается из неопределённости нашего знания, наших моделей и нашей теории, а также из влияния наших ошибок и когнитивных искажений. Оценка степени этой неопределённости может быть ещё более трудна. Задача упрощается тем, что в целом все приведённые «объективные» вероятности должны быть величинами одного порядка, и поэтому, если мы огрубляем до уровня порядка, нам не нужно углубляться в детали, идёт ли речь о средней по галактике или абсолютной вероятности. (Поскольку маловероятно, чтобы они сильно отличались: у Чирковича в статье «Геоинженерия, пошедшая насмарку» [Circovic 2004] рассматривается вариант, что средняя вероятность вымирания по Галактике в результате опасных гео-инженерных проектов велика, так как большинство цивилизаций ориентированы на исследование недра, а не космоса, но что Земля является уникальной цивилизацией, ориентированной именно в небо, и в силу этого вероятность гибели Земли в результате геоинженерной катастрофы меньше. То есть Чиркович предполагает, что средняя и абсолютная вероятность вымирания для Земли резко различаются. Однако шансы, что он прав – невелики. Чем больше подразумеваемая уникальность Земли, тем меньше шансов, что он прав. То есть Земля скорее является 1 из 10, чем 1 из миллиона планет. Чем радикальнее утверждение о различии средней и абсолютной вероятности, тем больше шансов, что оно ложно. Пример из жизни: если ваш случайный собеседник в Интернете утверждает, то он миллиардер, то, скорее всего, он врёт, а если он говорит, что у него есть машина, то это, скорее всего, правда.)

Дата добавления: 2015-07-13