Искусственный интеллект в роли менеджера

Слишком сложно для человека

Часть III. Искусственный интеллект

Очевидно, что компьютер (даже и не ИИ) может помочь в анализе многофакторных зависимостей и эмпирических выводов из них. Однако возможно, что добытое знание окажется слишком сложным, чтобы человек смог усвоить его и принять в систему своих представлений. Пусть, например, компьютер эмпирически вывел систему уравнений, связывающую пятьдесят действующих факторов. Сможет ли человек, с его объемом внимания в семь предметов, сделать из этой системы какие-то выводы? Возможны целые разделы науки, доступные для разработки лишь компьютерам из-за чрезмерной сложности выявляемых соотношений.

Если же будет создан полноценный ИИ, по способности делать выводы равный человеку, то создаваемая ИИ наука обгонит человеческую за счет его быстродействия. Пусть компьютер делает верный вывод после стольких же ошибок и тупиковых рассуждений, что и человек. Но если у человека «три ошибки, восемь тупиков и вывод» могли занять годы, то у компьютера – доли секунды. Тогда ИИ сможет пройти путь, сравнимый с путем от Аристотеля к Шредингеру, за годы, а то и за часы. Человек же не сможет понять его выводов, ибо просто не владеет нужным понятийным аппаратом. Ему придется начать с азов, разработанных машиной в начале пути. Однако, учитывая поразительную компактность знаний в точных науках – несколько веков развития физики (памятуя о средневековом сне, не будем говорить о тысячелетиях) умещаются в пять лет обучения студента! – представляется, что запаздывание человечества в освоении наработок ИИ не будет совсем уж катастрофическим – Авт.

Лем предсказывает, что заниматься созданием машины, мыслящей в точности как человек, никто не будет, ибо это никому не нужно. Кроме того, он проводит очевидную мысль, что ИИ может быть создан только как черный ящик, о внутренней работе которого мы знаем не все – подобно тому, как гончар не знал о химических превращениях в глине под действием огня, но эмпирически нашел, что от обжига глина твердеет.

У самообучающихся черных ящиков, однако, есть два сомнительных свойства. Первое – они непредсказуемы, ибо по определению алгоритм их работы неизвестен. Они непредсказуемы настолько, что даже в строго одинаковых условиях не обязательно поведут себя одинаковым образом. Одна и та же машина в одних и тех же условиях может вести себя по-разному, ибо это самообучающаяся система, которая, возможно, уже сделала вывод из своего прежнего поведения. Две разные машины, даже имеющие строго одинаковый опыт, могут в одних и тех же условиях вести себя по-разному, если используют разные эвристики. Далее, если мы имеем дело с самообучением, то – по крайней мере, при современных его методиках – оценка ситуации базируется на весовых коэффициентах, присвоенных факторам в известной мере случайно. В основу эвристики может быть положена определенная доля «броска кости». Поэтому одна и та же машина в одной и той же ситуации даже без учета ее опыта попадания в эту ситуацию может повести себя по-разному, если в эвристику заложен элемент перебора вариантов.

Во-вторых, они обучаются на своих ошибках, то есть обязаны их совершать. Ни один из них не владеет изначально всей информацией, позволяющей не совершать ошибок. В связи с этим встает вопрос, кто и как будет отвечать за последствия их поведения, особенно если им будет доверена какая-то регулирующая деятельность (скажем, выработка экономических стратегий). Даже если они будут подчиняться прямым императивам, и в качестве таких императивов в них будет вложено все законодательство, это не гарантирует, что выбранные ими средства всегда будут моральны. Ибо всю мораль невозможно изложить в виде инструкций, всегда возможны решения, на человеческий взгляд аморальные, но не запрещенные ни одним законом. Для робота-регулятора необходим контролер-человек, проверяющий его намерения. При этом Лем подчеркивает, что робот должен выдавать контролеру не изолированное намерение совершить вот это действие, а всю цепочку, ведущую от этого действия к цели. Ибо само действие может быть невинным на первый взгляд, но в цепочке его следствий могут быть пугающие. Лем изобретает следующий пример. Регулятор, целью которого является стабильность экономики, обнаруживает, что ей угрожает повышение рождаемости. Он делает запрос на меры, снижающие рождаемость, и получает отказ. Однако в него не вложено аксиомы, что снижать рождаемость нельзя, и отказ он воспринимает лишь как отказ в этих конкретных мерах. Поэтому он изобретает способ снизить рождаемость через пропаганду препарата от кариеса, порождающего рецессивную мутацию А, которая, совпав в с рецессивной мутацией Б, вызываемой давно пущенным в серию препаратом от облысения, снижает фертильность. Людям при этом ничего не известно о свойствах этих мутаций – заметим, что в силу вычислительных возможностей робота такие комбинации нужных факторов могут быть весьма сложными, непросчитываемыми человеком. Поступает только запрос на пропаганду препарата от кариеса. Он одобряется. И все заверте…

Вывод: автомату нельзя доверять управление как таковое, а можно доверить лишь выработку рекомендаций, с полной выкладкой рассчитанных причин и следствий. Человек должен давать добро не на изолированное намерение, а на весь план действий. Ситуацию несколько усложняет то, что, как уже говорилось, разные (даже однотипные) машины могут приходить к разным выводам, и встает вопрос о критерии выбора между ними. Собственно, так же, как разные люди, являясь «однотипными машинами», приходят в одной и той же ситуации к разным выводам. И так же, как и с людьми, ничему выводу нельзя доверять на 100%. Поэтому в разрешении конфликта мнений между машинами можно обратиться к механизмам, наработанным для людей: доверию наиболее успешному в прошлом эксперту, голосованию, и т. п. – Авт.

Вспомним, однако, о разделе «слишком сложно для человека». Предлагаемые компьютером причинно-следственные цепи могут быть слишком сложны для того, чтобы человек-арбитр мог их отслеживать. Здесь уже не разделы науки, а, что куда более важно, разделы менеджмента оказываются слишком сложны для человеческого сознания, и придется всецело положиться на машину. Будет ли у человечества потребность в столь сложном менеджменте? Вполне возможно. Лем верно отмечает, что средневековый город нуждался только в пище и воде, а современный – в газо- и электроснабжении, бесперебойной работе канализации и связи, экстренных служб, транспорта и т.д. То же самое с возрастающей сложностью экономических отношений. С усложнением среды усложняется ориентировка в ней, координация между ее элементами. Возможно, уже совсем скоро функции менеджеров придется исполнять компьютерам.

Дата добавления: 2014-12-07