Юваль Ной Харари — охотник за привидениями технототалитаризма

Недавно я пересматривал свои планы по самообразованию и в очередной раз решил начать его с тщательного изучения «раннего» Харари — с его книг «Sapiens: Человек разумный. Краткая история человечества» и «Homo Deus: За кулисами будущего».

Впрочем, первое же рандомное видео на YouTube подсветило совсем другую тематику позднего Харари.

А через пару дней появилась расшифровка этого интервью. Я ещё раз его прослушал и пару раз перечитал.

Фабула — бомба. Интеллектуальная, демократическая, гуманистическая, но взрывоопасная. Возможно, потому, что на сегодняшний день это, вероятно, самая чёткая и обстоятельная критика процессов, происходящих на планете и с человечеством. По сути, это критика любой формы акселерационизма и страх перед новым тоталитаризмом. Таким, до которого не додумались даже фантасты.

НЕ ТЕРМИНАТОР

Первое, что приходит нам в голову при словах «восстание машин», — «Терминатор», сегодня уже изрядно затасканный киношный штамп.

В его архетипе присутствует суперкомпьютер, управляющий ордами обезумевших от классовой ненависти домашних роботов.

Харари рисует другую, резко отличающуюся от стереотипной картину. По его мнению, угроза будет менее централизованной и почти не физической — по крайней мере, не телесной.

Главный риск заключается в том, что ИИ начнёт дублировать основные функции человечества — способность говорить, производить информацию и бюрократизировать жизнь в целом.

Это важный поворот в дискуссии о технологиях. Десять лет назад главным страхом футурологов была потеря рабочих мест на заводах. Сегодня речь уже не о том, заменит ли алгоритм водителя грузовика или кассира. Нет смысла обсуждать параметры очевидного.

Вопрос, который ставит Харари, гораздо шире: кто будет принимать решения о судебных приговорах, банковских кредитах, государственных закупках, распределении бюджетов и достоверности новостей?

Таким образом, он ставит вопрос о вероятности утраты политического суверенитета (!).

Возможно, поэтому символом будущего у Харари становится не «терминатор» — робот-солдат, а «клерк» — робот-бюрократ.

С одной стороны, подобный образ кажется менее драматичным. По крайней мере, он не ассоциируется с уничтожением цивилизации в огне ядерной войны. Однако главное Харари замечает с прозорливостью библейского пророка: начиная с Шумера именно бюрократия исторически оставалась главным инструментом власти.

Ни одна империя не держалась исключительно на армии. В первую очередь она существовала благодаря людям, которые собирали налоги, вели кадастры, регистрировали имущество и заключали сделки. Вероятно, именно поэтому в ХХ веке социолог Макс Вебер назвал бюрократию «самой эффективной машиной управления в истории».

Харари же утверждает, что в XXI веке эта машина сможет функционировать без людей. Фантастика? Да. Но настолько реалистичная, что может воплотиться в жизнь ещё при нашем поколении.

Здесь стоит отметить, что собственно фантастики в его интервью нет. Нет «самоосознания роботов» или их проблем с моральными дилеммами.

Единственное, что по-настоящему интересует Харари, — это источник власти. Точнее, изменение природы власти и её смещение во внел человеческую область.

Нет, это не новомодный луддизм.

Да, предыдущие технологические революции дали нам паровые двигатели, электричество и интернет. Но всё это ничто по сравнению с искусственным интеллектом, который работает с базовым инструментом нашего вида и цивилизации в целом — с языком.

ЯЗЫК — ЭТО ВЛАСТЬ

Да, паровая машина заменила мышцы, а компьютер стандартизировал производственные процессы. Но разительное отличие ИИ заключается в том, что он вмешивается не в производство товаров, а в алгоритм принятия решений.

Возможно, именно поэтому Харари считает ИИ первой технологией, способной действовать как самостоятельный политический субъект. Это раньше алгоритмы не обладали волей. Теперь, когда они всё больше пишут, рекомендуют, оценивают и так далее, власть постепенно смещается от человека к ним. А всё потому, что алгоритмы становятся быстрее, дешевле и, главное, объективнее любого госаппарата.

Вероятно, именно в этот момент и рождается «призрак технототалитаризма». Явление, которому не нужен харизматичный вождь, не нужен массовый террор и даже цензура, поскольку алгоритм всего лишь следит за соблюдением правил.

По сути, это чиновник, о котором мы мечтаем: честный, умный и, главное, некоррумпированный.

Его тотальность похожа на рябь на воде — короткую, редкую и практически невидимую. Он возникает в лакунах, которые освобождаются в процессе автоматизации человеческого труда. Там, где мы отдаём решения на откуп алгоритмам. И со временем, как считает Харари, перестаём самостоятельно понимать их внутреннюю логику.

Опасения Харари опираются на его представление об истории. Ещё в книге Sapiens он выдвинул тезис, согласно которому наш вид покорил планету благодаря способности коллективно верить в вымышленные сущности. Среди них такие всем известные вещи, как государства, деньги, корпорации, религии и права человека. Собственно говоря, всё это существует, поскольку миллионы людей договорились считать это реальностью.

Следовательно, если цивилизация построена из языка, то технология, овладевающая языком лучше нас, начинает создавать собственные истории, убеждать людей и формировать новые смыслы.

Здесь взгляды Харари перекликаются с философией Юргена Хабермаса. Для Хабермаса демократия держится на публичной сфере. Это пространство, в котором граждане могут свободно и рационально дискутировать и формировать общее политическое видение. Их решения легитимны до тех пор, пока рождаются в диалоге.

Харари переносит эту мысль в XXI век. Он считает, что если алгоритмы генерируют информацию быстрее, чем мы успеваем её проверять, публичное пространство перестаёт быть человеческим.

Да, демократические институты ещё будут действовать, выборы — проводиться, парламент — заседать. Но! Социальная ткань всё больше будет ткаться алгоритмами.

Эта паутина станет ловить остатки информационного суверенитета. Главный вызов, с которым столкнётся человечество, будет заключаться в вопросе: «Кто контролирует информационные потоки?» Уже сегодня в этом подозревают техногигантов, шаг за шагом выстраивающих довольно асимметричный «капитализм платформ».

ПРОТИВ АКСЕЛЕРАЦИОНИЗМА

Как либерал и гуманист, Харари близок к классическим критикам тоталитаризма. Однако, в отличие от них, его версия не имеет конкретного лица. В ней нет сталинских или гитлеровских усов. Напротив, главная черта технототалитаризма — абсолютная прозрачность общества для системы управления. И полная непрозрачность системы для людей.

Вспомним Ханну Арендт. Согласно её представлениям, сущность тоталитаризма заключается в стремлении подчинить себе все сферы жизни. Инструментом для этого служила партийная бюрократия. В отличие от неё, алгоритмическая бюрократия не будет устраивать репрессий. Но монополизирует реальную власть благодаря своей производительности, неподкупности и честности. С одной стороны, это и есть воплощённый архетип «доброго царя». С другой — очевидно, что Харари вступает в скрытую полемику с акселерационизмом, влиятельным интеллектуальным движением Кремниевой долины. Самое интересное здесь заключается в том, что Харари и акселерационисты одинаково видят фактическое положение дел. Расходятся они лишь в его оценке.

Правый акселерационизм — в частности, работы Ника Лэнда — исходит из того, что человек больше не является главным субъектом истории. Его место занимают капитал, сети и машинный интеллект. Поэтому демократия, по мнению Лэнда, слишком медленна и неэффективна. Следовательно, её отмирание — не трагедия, а естественный эволюционный процесс, который необходимо ускорять.

Харари согласен с описанием происходящего. Он тоже видит, что алгоритмы принимают на себя функции управления, а политические институты не успевают за технологиями. Но если для Лэнда это желанный прогресс, то для Харари — катастрофа и утрата человеческого суверенитета.

В этом смысле довольно показательна критика Харари известного лозунга технооптимистов: «Мы создадим бога, но он будет нашим рабом». По мнению Харари, если ИИ превзойдёт человека в мышлении и планировании, то перестанет быть инструментом. Раб не может оставаться богом, а бог — рабом.

Одновременно, как ни странно, Харари расходится и с левым акселерационизмом — например, с авторами манифеста «Inventing the Future» Алексом Срничеком и Ником Уильямсом. Левые акселерационисты верят, что технологии можно подчинить общественным потребностям с помощью таких опций, как «демократический контроль» и «плановое регулирование». У Харари подобного оптимизма нет. По его мнению, государства уже проигрывают корпорациям. По крайней мере, тогда, когда становятся инфраструктурно зависимыми от чужих технологий, спутников и облачных серверов.

ПРЕДПОСЫЛКИ СКЕПСИСА

Аргументы Харари опираются на философскую традицию ХХ века. Приблизительно с того времени — возможно, с Азимова — лучшие умы пытаются понять, что произойдёт, когда техника перестанет быть всего лишь инструментом.

• Жак Эллюль, например, ещё в 1954 году в работе La Technique доказывал, что мир подчиняется логике технической эффективности. Если что-либо можно сделать быстрее и дешевле, общество это сделает, не задумываясь о последствиях.
• Мишель Фуко анализировал дисциплинарную власть. По его мнению, она не столько наказывает, сколько измеряет, переписывает и нормализует. Кто обладает знанием о населении, тот им и управляет. Потенциал ИИ позволяет сделать эту логику тотальной.
• Шошана Зубофф в книге The Age of Surveillance Capitalism описала, как цифровые платформы превратили поведение людей в товар. Харари продолжает её мысль: что произойдёт, когда эта система начнёт определять не только наши покупки, но и наши политические решения?
• Евгений Морозов годами критикует «технологический солюционизм» — веру в то, что любую сложную проблему можно «заинженерить», иначе говоря, решить с помощью улучшенного алгоритма. Согласно этому подходу, общественные и политические конфликты приобретают статус технической задачи. В результате справедливость уступает место оптимизации.
• Джеймс Скотт в работе Seeing Like a State продемонстрировал, как государство делает общество «читаемым» с помощью переписей, налоговых реестров и стандартизации. В свою очередь, ИИ доводит эту читаемость до абсолюта. Если когда-то государство видело общество раз в десять лет во время переписи, то сегодня алгоритм видит его ежесекундно.

Если коротко, Харари боится не того, что ИИ осознает себя. Он боится появления системы, которая будет знать об обществе больше, чем общество знает о самом себе.

РАЗМЫВАНИЕ ОТВЕТСТВЕННОСТИ

Харари не луддит, не технофоб, не призывает уничтожать компьютеры и возвращаться в один из отрезков прошлого. По сути, единственное, что он делает, — ставит под сомнение очередную модернизацию, очередную разновидность исторического детерминизма.

Коммунисты, например, верили в отмирание классов. Технофашисты настаивают на неизбежности смерти демократии, которая будет вынуждена уступить более эффективным системам управления.

Однако Харари уверен, что управленческая эффективность — не единственный критерий. По крайней мере, не в политике, цель которой заключается в урегулировании конфликтов между людьми с разными ценностями.

Да, демократия «медленна». Но именно это ограничение скорости, все эти дебаты, процедуры и расследования, и служит предохранителем от монополизации власти кем бы то ни было.

В этом отношении Харари почти повторяет Карла Поппера и его критику «историцизма» — веры в существование единственного правильного направления истории. Иллюзии, которая привела к коммунистическому и фашистскому экспериментам в ХХ — самом кровавом столетии в истории нашего вида.

Харари экстраполирует этот аргумент на XXI век. Отличие состоит в том, что в ХХ веке носителем «исторической правды» была партия, а сегодня им всё чаще становится алгоритм. Кроме того, «новому тоталитаризму» не потребуется идеология. Его решения будут — или будут восприниматься — как математические, а потому объективные и выверенные.

И главное: кто за всё это будет отвечать? Кого обвинять в ошибке? Разработчика, компанию, государство или сам алгоритм? Раньше ответственность нёс автор. Но какой автор есть у алгоритма, кроме владельца, который, например, купил его или взял в аренду?

У Оруэлла тоталитаризм похож на Большого Брата. У Хаксли удовольствие служит предпосылкой контроля. У Харари это сеть алгоритмов, в которой человек вроде бы и не ощущает очевидного насилия. Но постепенно, шаг за шагом, отстраняется от собственных решений, делегирует их.

МИР БЕЗ ПОЛИТИКИ

Главная слабость концепции Харари, как и многих подобных гуманистических построений, — отсутствие программы действий. Да, он блестящий диагност, но понятия не имеет, как лечить опухоль, обнаруженную в теле человеческой цивилизации.

Его лекарства слабы и напоминают гомеопатию. Все эти международные регламенты и этические кодексы похожи на пожелания счастливого пути. Особенно в мире, переживающем серьёзные геополитические эксцессы и понемногу скатывающемся в новую деглобализацию.

Однако он смещает фокус дискуссии к проблеме, которая может стать главной в XXI веке: останется ли человек политическим субъектом в мире, где решения принимают алгоритмы, которые он не способен полностью понять?

Если нет, то технототалитаризм — наше будущее. Ему не понадобятся лагеря или массовый террор. Он будет выглядеть как очень удобная, эффективная и доброжелательная, словно бабушка, консультативная система.

«Бабушка», которая будет лишать людей роскоши думать. Сначала — необходимости, затем — способности. И двигать цивилизацию в направлении, которое ещё в далёком 1958 году описал в одном из своих рассказов Айзек Азимов. Там программист «изобретает» способ умножать числа.

Харари не боится появления искусственного бога, в котором принято видеть техническую сингулярность.

Он боится, что люди сначала делегируют власть, а потом откажутся и от её осуществления.

И тогда наступит технототалитаризм — эпоха, способная поставить точку в 300-тысячелетней истории нашего вида.

Вида, который перестанет интересоваться, а значит — эволюционировать.