Антихрист из машины

Западный христианский мир вчитывается в первую энциклику папы Льва XIV — Magnifica humanitas («Чарующая человечность», но возможны и другие переводы). С одной стороны, ясно, что это — «бомба»: понтифик объявляет об угрозе самой человеческой природе, если мировое сообщество не успеет взять под этический контроль искусственный интеллект (ИИ). С другой стороны, энциклика очень объемна — больше 200 страниц и около 40 тысяч слов, ее не одолели пока даже профессиональные богословы. Официального русского перевода еще нет, а неофициальный представляет только фрагменты. Тем не менее попробуем разобраться, чем встревожен Святой престол и что он предлагает.

Разоружиться перед Богом

Центральная идея Magnifica humanitas: необходимо «разоружить» ИИ. В узком и широком смыслах. В узком: обуздать гонку ИИ-вооружений, точнее — технологий, которые уже сегодня берут под контроль ситуацию на поле боя. В широком — вырвать ИИ из-под контроля глобальных суперкорпораций, которые могут прийти на смену традиционным государствам, и взять под тотальный контроль поведение человека, его потребности, мысли, страсти, эмоции. Словом, дегуманизировать человека, превратив его в раба ИИ, с которым, конечно, чисто технически человеческий мозг конкурировать не может. И не факт, что эти силы окажутся высокоморальными и будут заботиться о сохранении целостности человеческой природы как венца творения. Модным трендом современной постхристианской культуры становится идея о человеке как «ошибке эволюции» и о способности супер-ИИ эту ошибку исправить…

Выбор своего имени — Лев — папа Роберт Фрэнсис Превост объяснял намерением продолжить курс Льва XIII (годы правления — 1878–1903), автора великой энциклики Rerum Novarum («Новые явления»), которая заложила основы социального учения католической церкви. Как Лев XIII предупреждал об угрозах технической революции, транснационального капитализма и превращения человека в винтик технологических цепочек, так и 

Уже спустя месяц после своей интронизации, в июне прошлого года, папа Превост обозначил «обуздание ИИ» как свой приоритет, обращаясь к участникам Второй римской конференции по искусственному интеллекту. Тогда он впервые заявил о «трансформации реальности», которая происходит в сознании людей, в первую очередь — молодых, попадающих в зависимость от ИИ.

Такая зависимость, сказал тогда Лев XIV, «мешает нашей молодежи на пути зрелости и подлинной ответственности». Формат быстрого и некритического доступа к гигантским массивам информации, который сегодня предоставляют нейросети, не формирует интеллектуальную культуру, угрожая свободе, идентичности и этическим ориентирам человека, которые непонятны и неизвестны ИИ. Зависимость от ИИ вообще постепенно лишает человека способности отличать правду от лжи, поскольку алгоритмы нейросетей оперируют лишь массивами данными, а не озабочены поиском истины. Папа провозгласил тогда, что спасти человечество и человечность может лишь подчинение сферы ИИ этическому контролю.

Католическая церковь пытается продвигать собственный чат-бот Magisterium AI, который отвечает на вопросы с учетом текста Св. Писания и предания церкви. Возникающий при этом соблазн «машинизации» религии не меньше, чем опасность общей «дегуманизации» человечества через подчинение алгоритмам ИИ. Такая «машинизация» хорошо ощущается на примерах «виртуальных батюшек» и «афонских молитв», которые генерируются ИИ и размещаются на YouTube-каналах. Красиво, благостно, но абсолютно искусственно.

Апелляция к государству

Главный вызов, на который Лев XIV ищет ответ в энциклике, — это угроза доминирования ИИ над человеком, «перепрошивки» человеческого мышления и поведения под логику и функционал нейросетей.

Папа оговаривает, что он не враг техническому прогрессу и видит массу достоинств ИИ, который сам по себе нравственно нейтрален. Другое дело, что хозяева корпораций, контролирующих ИИ-продукты, те, кто их «создает, финансирует, регулирует и использует», наполняют нейросети собственным этическим содержимым, то есть своими страстями и пороками. Выход понтифик видит в том, чтобы вывести столь великое технологическое достояние человечества из-под контроля узкого круга корпораций, которые стремятся к своим прагматическим целям, и передать этот контроль… государствам.

Откровенно говоря, глядя на некоторые из них, кажется, что это решение будет ненамного лучше, чем контроль корпораций. Чуть ниже в энциклике папа как будто и сам признает эту проблему: некоторые страны «скатываются к насильственной культуре власти, где мир больше не представляется обязанностью, которую нужно взять на себя, а лишь хрупким промежутком между конфликтами».

После начала военных действий США против Ирана Лев XIV вызвал гнев Трампа своим заявлением: «Бог не слышит молитв тех, кто ведет войну». Но автор энциклики, похоже, еще надеется на сохранение «государства в хорошем смысле слова», не относя к ним режимы, способные начинать войны.

К военному применению ИИ папа возвращается в тексте вновь и вновь, иллюстрируя главные опасности «технологии без этики». «Не существует алгоритма, способного сделать войну морально приемлемой», — отвечает Лев XIV апологетам «высокотехнологичной войны», на которой воюют роботы, что позволяет избегать человеческих жертв. «Любая технология, — пишет он, — которая облегчает нанесение удара, не видя лица противника, снижает моральный порог конфликта».

Лев XIV призывает правительства «создать надлежащие правовые рамки» для ИИ, а гражданское общество, научные и правозащитные институты — обеспечить «независимый надзор, просвещение и обучение пользователей». Получается, речь идет о том, чтобы «зарегулировать» эту сферу, об усилении роли государства, что не гармонирует с образом папы-либерала.

Мобилизационные нотки звучат и в противопоставлении папой образов Иерусалима и Вавилона. В контексте ИИ под «Вавилонской башней» подразумевается попытка человеческими усилиями «перезапустить творение», создать новую реальность без помощи Бога-Творца. Если верить Библии, такие попытки обречены на провал, но в словах Льва XIV слышится реальная тревога: если не остановить бесконтрольное развитие ИИ, на этот раз Вавилонская башня построится, а это равносильно приходу Антихриста. Как альтернативу Вавилону папа предлагает Иерусалим, на строительство которого в V веке до Рождества Христова пророк Неемия смог мобилизовать еврейский народ.

Трезвое нравственное руководство строительством мира ИИ может принести неописуемую пользу человечеству, а отсутствие такого руководства — привести к катастрофе. Человечество, как подчеркивается в энциклике, стоит именно на этой развилке: если ИИ будет подчинено брутальному извлечению прибыли, то превратится в «идолопоклонство», и в жертву этому идолу «принесут слабых».