Юваль Ной Харарі — мисливець за привидами технототалітаризму

Нещодавно я переглядав свої плани щодо самоосвіти й вкотре вирішив розпочати її з ретельного вивчення «раннього» Харарі — з його книг «Sapiens: Людина розумна. Коротка історія людства» та «Homo Deus: За лаштунками майбутнього».

Втім, перше ж випадкове відео на YouTube висвітлило зовсім іншу тематику пізнього Харарі.

А через кілька днів з’явився розшифрований текст цього інтерв’ю. Я ще раз його прослухав і кілька разів перечитав.

Фабула — бомба. Інтелектуальна, демократична, гуманістична, але вибухонебезпечна. Можливо, тому, що на сьогодні це, ймовірно, найчіткіша й найґрунтовніша критика процесів, що відбуваються на планеті та з людством. По суті, це критика будь-якої форми акселераціонізму та страх перед новим тоталітаризмом. Таким, до якого не додумалися навіть фантасти.

НЕ ТЕРМІНАТОР

Перше, що спадає нам на думку при словах «повстання машин», — «Термінатор», сьогодні вже добряче заїжджений кіношний штамп.

У його архетипі присутній суперкомп’ютер, який керує ордами домашніх роботів, що збожеволіли від класової ненависті.

Харарі малює іншу картину, що різко відрізняється від стереотипної. На його думку, загроза буде менш централізованою і майже не фізичною — принаймні, не тілесною.

Головний ризик полягає в тому, що ШІ почне дублювати основні функції людства — здатність говорити, створювати інформацію та бюрократизувати життя загалом.

Це важливий поворот у дискусії про технології. Десять років тому головним страхом футурологів була втрата робочих місць на заводах. Сьогодні мова вже не про те, чи замінить алгоритм водія вантажівки чи касира. Немає сенсу обговорювати очевидне.

Питання, яке ставить Харарі, набагато ширше: хто ухвалюватиме рішення щодо судових вироків, банківських кредитів, державних закупівель, розподілу бюджетів та достовірності новин?

Таким чином, він порушує питання про ймовірність втрати політичного суверенітету (!).

Можливо, саме тому символом майбутнього у Харарі стає не «термінатор» — робот-солдат, а «клерк» — робот-бюрократ.

З одного боку, такий образ здається менш драматичним. Принаймні, він не асоціюється зі знищенням цивілізації у вогні ядерної війни. Однак головне Харарі помічає з прозорливістю біблійного пророка: починаючи з Шумеру саме бюрократія історично залишалася головним інструментом влади.

Жодна імперія не трималася виключно на армії. Насамперед вона існувала завдяки людям, які збирали податки, вели кадастри, реєстрували майно та укладали угоди. Ймовірно, саме тому у ХХ столітті соціолог Макс Вебер назвав бюрократію «найефективнішою машиною управління в історії».

Харарі ж стверджує, що в XXI столітті ця машина зможе функціонувати без людей. Фантастика? Так. Але настільки реалістична, що може втілитися в життя ще за нашого покоління.

Тут варто зазначити, що власне фантастики в його інтерв’ю немає. Немає «самосвідомості роботів» чи їхніх проблем із моральними дилемами.

Єдине, що по-справжньому цікавить Харарі, — це джерело влади. Точніше, зміна природи влади та її зміщення за межі людської сфери.

Ні, це не новомодний луддизм.

Так, попередні технологічні революції дали нам парові двигуни, електрику та інтернет. Але все це ніщо порівняно зі штучним інтелектом, який працює з базовим інструментом нашого виду та цивілізації загалом — з мовою.

МОВА — ЦЕ ВЛАДА

Так, парова машина замінила м’язи, а комп’ютер стандартизував виробничі процеси. Але разюча відмінність ШІ полягає в тому, що він втручається не у виробництво товарів, а в алгоритм прийняття рішень.

Можливо, саме тому Харарі вважає ШІ першою технологією, здатною діяти як самостійний політичний суб’єкт. Раніше алгоритми не мали волі. Тепер, коли вони дедалі більше пишуть, рекомендують, оцінюють тощо, влада поступово переходить від людини до них. А все тому, що алгоритми стають швидшими, дешевшими і, головне, об’єктивнішими за будь-який державний апарат.

Ймовірно, саме в цей момент і народжується «привид технототалітаризму». Явище, якому не потрібен харизматичний вождь, не потрібен масовий терор і навіть цензура, оскільки алгоритм лише стежить за дотриманням правил.

По суті, це чиновник, про якого ми мріємо: чесний, розумний і, головне, некорумпований.

Його тотальність схожа на брижі на воді — короткі, рідкісні й практично невидимі. Він виникає в лакунах, що звільняються в процесі автоматизації людської праці. Там, де ми віддаємо рішення на відкуп алгоритмам. І з часом, як вважає Харарі, перестаємо самостійно розуміти їхню внутрішню логіку.

Побоювання Харарі ґрунтуються на його уявленні про історію. Ще в книзі «Sapiens» він висунув тезу, згідно з якою наш вид підкорив планету завдяки здатності колективно вірити у вигадані сутності. Серед них такі всім відомі речі, як держави, гроші, корпорації, релігії та права людини. Власне кажучи, усе це існує, оскільки мільйони людей домовилися вважати це реальністю.

Отже, якщо цивілізація побудована на мові, то технологія, яка опановує мову краще за нас, починає створювати власні історії, переконувати людей і формувати нові смисли.

Тут погляди Харарі перегукуються з філософією Юргена Габермаса. Для Хабермаса демократія тримається на публічній сфері. Це простір, у якому громадяни можуть вільно й раціонально дискутувати та формувати спільне політичне бачення. Їхні рішення є легітимними доти, доки народжуються в діалозі.

Харарі переносить цю думку у XXI століття. Він вважає, що якщо алгоритми генерують інформацію швидше, ніж ми встигаємо її перевіряти, публічний простір перестає бути людським.

Так, демократичні інститути ще будуть діяти, вибори — проводитися, парламент — засідати. Але! Соціальна тканина дедалі більше творитиметься алгоритмами.

Ця павутина почне ловити залишки інформаційного суверенітету. Головний виклик, з яким зіткнеться людство, полягатиме в питанні: «Хто контролює інформаційні потоки?» Уже сьогодні в цьому підозрюють техногігантів, які крок за кроком вибудовують досить асиметричний «капіталізм платформ».

ПРОТИ АКСЕЛЕРАЦІОНІЗМУ

Як ліберал і гуманіст, Харарі близький до класичних критиків тоталітаризму. Однак, на відміну від них, його версія не має конкретного обличчя. У ній немає сталінських чи гітлерівських вусів. Навпаки, головна риса технототалітаризму — абсолютна прозорість суспільства для системи управління. І повна непрозорість системи для людей.

Згадаймо Ханну Арендт. Згідно з її уявленнями, сутність тоталітаризму полягає в прагненні підпорядкувати собі всі сфери життя. Інструментом для цього слугувала партійна бюрократія. На відміну від неї, алгоритмічна бюрократія не влаштовуватиме репресій. Але монополізує реальну владу завдяки своїй продуктивності, непідкупності та чесності. З одного боку, це й є втілений архетип «доброго царя». З іншого — очевидно, що Харарі вступає у приховану полеміку з акселераціонізмом, впливовим інтелектуальним рухом Кремнієвої долини. Найцікавіше тут полягає в тому, що Харарі та акселераціоністи однаково бачать фактичний стан речей. Розходяться вони лише в його оцінці.

Правий акселераціонізм — зокрема, праці Ніка Ленда — виходить із того, що людина більше не є головним суб’єктом історії. Її місце займають капітал, мережі та машинний інтелект. Тому демократія, на думку Ленда, занадто повільна й неефективна. Отже, її відмирання — не трагедія, а природний еволюційний процес, який необхідно прискорювати.

Харарі згоден з описом того, що відбувається. Він теж бачить, що алгоритми беруть на себе функції управління, а політичні інститути не встигають за технологіями. Але якщо для Ленда це бажаний прогрес, то для Харарі — катастрофа та втрата людського суверенітету.

У цьому сенсі досить показовою є критика Харарі відомого гасла технооптимістів: «Ми створимо бога, але він буде нашим рабом». На думку Харарі, якщо ШІ перевершить людину в мисленні та плануванні, то перестане бути інструментом. Раб не може залишатися богом, а бог — рабом.

Водночас, як не дивно, Харарі розходиться в поглядах і з лівим акселераціонізмом — наприклад, з авторами маніфесту «Inventing the Future» Алексом Срнічеком і Ніком Вільямсом. Ліві акселераціоністи вірять, що технології можна підпорядкувати суспільним потребам за допомогою таких інструментів, як «демократичний контроль» і «планове регулювання». У Харарі такого оптимізму немає. На його думку, держави вже програють корпораціям. Принаймні, тоді, коли стають інфраструктурно залежними від чужих технологій, супутників і хмарних серверів.

ПЕРЕДУМОВИ СКЕПСИСУ

Аргументи Харарі ґрунтуються на філософській традиції ХХ століття. Приблизно з того часу — можливо, починаючи з Азімова — найкращі уми намагаються зрозуміти, що станеться, коли техніка перестане бути лише інструментом.

• Жак Еллюль, наприклад, ще в 1954 році у праці «La Technique» доводив, що світ підпорядковується логіці технічної ефективності. Якщо щось можна зробити швидше й дешевше, суспільство це зробить, не замислюючись про наслідки.
• Мішель Фуко аналізував дисциплінарну владу. На його думку, вона не стільки карає, скільки вимірює, переписує та нормалізує. Хто володіє знанням про населення, той ним і керує. Потенціал ШІ дозволяє зробити цю логіку тотальною.
• Шошана Зубофф у книзі «The Age of Surveillance Capitalism» описала, як цифрові платформи перетворили поведінку людей на товар. Харарі продовжує її думку: що станеться, коли ця система почне визначати не лише наші покупки, а й наші політичні рішення?
• Євген Морозов роками критикує «технологічний солюціонізм» — віру в те, що будь-яку складну проблему можна «заінженерити», інакше кажучи, вирішити за допомогою вдосконаленого алгоритму. Згідно з цим підходом, суспільні та політичні конфлікти набувають статусу технічної задачі. У результаті справедливість поступається місцем оптимізації.
• Джеймс Скотт у праці «Seeing Like a State» продемонстрував, як держава робить суспільство «читабельним» за допомогою переписів, податкових реєстрів та стандартизації. У свою чергу, ШІ доводить цю читабельність до абсолюту. Якщо колись держава бачила суспільство раз на десять років під час перепису, то сьогодні алгоритм бачить його щосекунди.

Коротко кажучи, Харарі боїться не того, що ШІ усвідомлює себе. Він боїться появи системи, яка знатиме про суспільство більше, ніж суспільство знає про себе самого.

РОЗМИВАННЯ ВІДПОВІДАЛЬНОСТІ

Харарі не луддит, не технофоб, не закликає знищувати комп’ютери й повертатися в один із відрізків минулого. По суті, єдине, що він робить, — ставить під сумнів чергову модернізацію, черговий різновид історичного детермінізму.

Комуністи, наприклад, вірили у відмирання класів. Технофашисти наполягають на неминучості загибелі демократії, яка буде змушена поступитися місцем ефективнішим системам управління.

Однак Харарі впевнений, що управлінська ефективність — не єдиний критерій. Принаймні, не в політиці, мета якої полягає в врегулюванні конфліктів між людьми з різними цінностями.

Так, демократія «повільна». Але саме це обмеження швидкості, усі ці дебати, процедури та розслідування і слугують запобіжним механізмом проти монополізації влади ким би то не було.

У цьому відношенні Харарі майже повторює Карла Поппера та його критику «історицизму» — віри в існування єдиного правильного напрямку історії. Ілюзії, яка призвела до комуністичних і фашистських експериментів у ХХ столітті — найкривавішому столітті в історії нашого виду.

Харарі екстраполює цей аргумент на XXI століття. Відмінність полягає в тому, що в ХХ столітті носієм «історичної правди» була партія, а сьогодні ним дедалі частіше стає алгоритм. Крім того, «новому тоталітаризму» не знадобиться ідеологія. Його рішення будуть — або сприйматимуться — як математичні, а отже, об’єктивні й вивірені.

І головне: хто за все це відповідатиме? Кого звинувачувати в помилці? Розробника, компанію, державу чи сам алгоритм? Раніше відповідальність ніс автор. Але який автор є в алгоритму, крім власника, який, наприклад, купив його або взяв в оренду?

У Оруелла тоталітаризм схожий на Великого Брата. У Хакслі задоволення слугує передумовою контролю. У Харарі це мережа алгоритмів, у якій людина, здавалося б, і не відчуває очевидного насильства. Але поступово, крок за кроком, вона віддаляється від власних рішень, делегує їх.

СВІТ БЕЗ ПОЛІТИКИ

Головна слабкість концепції Харарі, як і багатьох подібних гуманістичних конструкцій, — відсутність програми дій. Так, він блискучий діагност, але не має уявлення, як лікувати пухлину, виявлену в тілі людської цивілізації.

Його ліки слабкі й нагадують гомеопатію. Усі ці міжнародні регламенти та етичні кодекси схожі на побажання щасливої дороги. Особливо у світі, що переживає серйозні геополітичні ексцеси й потроху скочується в нову деглобалізацію.

Однак він зміщує фокус дискусії на проблему, яка може стати головною у XXI столітті: чи залишиться людина політичним суб’єктом у світі, де рішення приймають алгоритми, які вона не здатна повністю зрозуміти?

Якщо ні, то технототалітаризм — наше майбутнє. Йому не знадобляться табори чи масовий терор. Він виглядатиме як дуже зручна, ефективна й доброзичлива, немов бабуся, консультативна система.

«Бабуся», яка позбавлятиме людей розкоші думати. Спочатку — необхідності, потім — здатності. І рухатиме цивілізацію в напрямку, який ще в далекому 1958 році описав в одному зі своїх оповідань Айзек Азімов. Там програміст «винаходить» спосіб множити числа.

Харарі не боїться появи штучного бога, в якому зазвичай вбачають технічну сингулярність.

Він боїться, що люди спочатку делегують владу, а потім відмовляться й від її здійснення.

І тоді настане технототалітаризм — епоха, здатна поставити крапку в 300-тисячолітній історії нашого виду.

Виду, який перестане цікавитися, а отже — еволюціонувати.