Kapitál, AGI a lidská ambice

Shrnutí: AI učiní nelidské výrobní faktory důležitějšími než ty lidské. Výsledkem může být budoucnost, v níž dnešní mocenské struktury trvale zamrznou a nezůstanou žádné cesty k sociální mobilitě ani pokroku.

Mnozí říkají, že po příchodu AGI nebudou peníze hrát roli, nebo alespoň menší. Ve výchozím scénáři je to přesně naopak.

Nejprve pár pojmů: prací se rozumí lidské duševní a fyzické úsilí, které vytváří něco hodnotného. Kapitálové statky jsou věci jako továrny, datová centra a software — věci, které člověk vytvořil a které se používají k produkci zboží a služeb. Slovem „kapitál“ budeme označovat jak zásobu kapitálových statků, tak peníze, jimiž je lze pořídit. Řekneme „peníze“, když chceme kapitálové statky vyloučit.

Klíčový ekonomický účinek AI spočívá v tom, že činí z kapitálu čím dál obecnější náhradu práce. Mizí potřeba platit lidem za jejich čas, aby vykonali práci, protože ji lze nahradit kapitálem — datová centra s běžícím softwarem nahrazují člověka vykonávajícího duševní práci.

Projdeme si důsledky tohoto jevu a dojdeme k závěru, že práci-nahrazující AI znamená, že:

Schopnost kupovat si výsledky v reálném světě dramaticky vzroste.
Schopnost člověka uplatňovat moc v reálném světě dramaticky klesne, protože:
1. hodnota lidské práce klesá, a ta je pro většinu lidí hlavní pákou moci;
2. pro lidi bude těžší dosáhnout výjimečných výsledků vzhledem k výchozím zdrojům.
Radikální vyrovnávací opatření jsou nepravděpodobná.

Celkově to ukazuje na opomíjenou stinnou stránku transformativní AI: že společnost se může stát permanentně statickou a že současné mocenské nerovnováhy se mohou zesílit a poté znehybnět. Statická společnost se zabetonovanou vládnoucí kastou nepůsobí dynamicky ani živě. Lidskou ambici bychom zabíjet neměli, pokud tomu lze zabránit.

Výchozí řešení

Předpokládejme, že lidská duševní a fyzická práce u drtivé většiny úkolů, za které dnes lidé dostávají mzdu, už nemá netriviální tržní hodnotu, protože tyto úkoly zvládne AI lépe / rychleji / levněji. Říkejme tomu práci-nahrazující AI.

Standardní řešení výsledného problému nezaměstnanosti má dvě roviny:

Vlády zavedou něco jako nepodmíněný základní příjem (UBI).
Rychle dosáhneme superinteligence a — za předpokladu, že bude sladěná s lidskými hodnotami — budeme žít v ráji blahobytu, kde je možné všechno.

Všimněte si především, že peníze budou existovat dál, přinejmenším dokud nebudeme mít jediný systém AI, který zajišťuje veškeré ekonomické plánování. Ceny jsou z velké části o sdělování informací. Pokud existuje mnoho aktérů a ti spolu obchodují, je třeba silně předpokládat, že existují i ceny (i když je lidé nevidí ani s nimi nepřicházejí do styku). Pamatujte také, že ať bude singularita jakkoli prudká, hojnost bude pořád konečná, a musí se tedy nějak rozdělovat.

Penězům dnes dělá potíže koupit talent

Za peníze si lze pořídit mnohé: kapitálové statky se například obvykle dají koupit docela přímočaře a bez velkého obnosu peněz je nepořídíte ¹. Je ale překvapivě těžké přeměnit holé peníze na práci způsobem, který by konkuroval nejlepšímu talentu.

Vezměme si stereotypní interakci rizikového investora a zakladatele, nebo kupujícího a startupu. V obou případech jsou držitelé obrovského finančního kapitálu ochotni platit velmi vysoké ceny za sázku na talent — a tou sázkou je, že práce hrstky lidí ve startupu porazí mimořádně velké objemy kapitálu.

Chcete-li přeměnit peníze na výsledky, nejhlubším problémem, jemuž pravděpodobně budete čelit, je najmout správné lidi. A to s sebou nese hned několik potíží:

Talent je často těžké posoudit, pokud sami nemáte značný talent ve stejném oboru. Když se proto pokusíte talent najít, často ho minete.
Talent je vzácný — talent s patřičnými tituly ještě více. Mnozí aktéři si kvůli bodu 1 nemohou dovolit spoléhat na jiný druh, takže ho prostě moc k mání není.
I když dokážete špičkový talent najít, ten špičkový bývá vůči vykoupení penězi méně přístupný než ostatní.

S práci-nahrazující AI tyto problémy mizí:

Zaprvé, AI lze kopírovat. Dnes se obrovské objemy peněz ženou za jediným hvězdným výzkumníkem, který dosáhl průlomu, a jehož talent se tak stal čitelným pro ty, kdo ovládají peníze a dokáží posoudit váhu společenského ohlasu na článek, ale samotný talent přímo posoudit obvykle neumí. Hvězdného výzkumníka, kterým je AI, ale stačí prostě zkopírovat. Každý — nebo aspoň každý, kdo má dost peněz k pálení na GPU — dostane hvězdného výzkumníka z řad AI. Není třeba se probírat obrovskou rozmanitostí jedinečných lidí s jejich nedoloženým talentem.

Zadruhé, cena talentu masivně klesne, protože AI bude levnější než odpovídající lidská práce a protože konkurence bude tvrdší, neboť AI lze duplikovat.

Zatřetí, spousta špičkového talentu má složité lidské preference, které ho činí těžko koupitelným. Špičkový umělec má uměleckou vizi, k níž je upřímně připoután. Špičkový matematik hluboce miluje eleganci a krásu. Špičkový podnikatel má hluboké přesvědčení o tom, co dělá — a jako zaměstnanec by stejně nejspíš dobře nefungoval. Talent a výkon u lidí jsou překvapivě svázány s posvátným poutem k oboru či poslání. Naproti tomu AI existuje právě proto, aby se dala triviálně vykoupit (přinejmenším v mezích svého tréninku). Geniální matematik z řad AI, na rozdíl od toho lidského, s radostí stráví svůj výpočetní čas dokazováním správnosti nudného rutinního kódu.

A konečně, AI bude nakonec ve svých úkolech mnohem schopnější než kterýkoli lidský zaměstnanec.

To znamená, že schopnost peněz kupovat výsledky v reálném světě dramaticky vzroste, jakmile budeme mít práci-nahrazující AI.

Konec výjimečných úspěchů?

Už jsme probrali, jak většinu práce učiní AI a robotika zastaralou. Nakonec ale i ti nejtalentovanější lidé budou AI překonáni. Co se stane potom?

Velkou část změn ve světě pohání lidé, kteří začínají mimo mocenské struktury, dosáhnou výjimečného úspěchu a nakonec získají moc. Dává to smysl, protože ti, kdo už moc mají, málokdy mají zápal prosazovat velké změny — vždyť jsou to právě ti, kterým status quo slouží nejlépe.

Ať už si o příjmové nerovnosti nebo o jakékoli konkrétní skupině výjimečně úspěšných lidí myslíte cokoli, možnost, že někdo dosáhne výjimečného úspěchu a změní svět, je důležitá pro to, aby se předešlo stagnaci a aby pokračoval společenský pokrok.

Zvažme dopady práci-nahrazující AI na různé cesty k výjimečnému úspěchu skrze práci:

Podnikání je čím dál víc tím, co Matt Clifford nazývá přední „technologií ambice“ ambiciózních mladých lidí. Právě teď se podnikání stalo snazším. Nástroje AI už dnes dokáží udělat malé týmy mnohem efektivnějšími, aniž by musely najímat nové zaměstnance. Snižují také vstupní bariéru k novým dovednostem a oborům. Práci-nahrazující AI ale činí udržitelnost podnikání nejistou. Existuje možná budoucnost, v níž AI zůstane převážně nástrojem a podnikatelé mohou uspět ještě dlouho poté, co je většina lidské práce zautomatizována, protože dodávají jednání a směr. Zároveň se ale zdá pravděpodobné, že dostatečně silná AI nakonec lidské podnikání učiní zastaralým. Fondy rizikového kapitálu by například mohly přeměnit peníze přímo ve stovky pokusů o startup, všechny řízené AI, aniž by musely volit mezikrok hledání lidských podnikatelů, kteří by jim AI řídili.

Tvrdé vědy. Éra lidského úspěchu v tvrdých vědách může skončit během několika let kvůli tempu AI pokroku ve všem, co má ostré signály odměny.

Intelektuálové. Keynes, Friedman i Hayek odvedli technickou práci v ekonomii, ale jejich nadměrný vliv pramenil ze světonázorů, které vytvořili a prosadili, díky čemuž byli vlivnější než lidé jako Paul Samuelson, který dominoval matematické ekonomii. John Stuart Mill, John Rawls a Henry George byli rovněž vlivní tím, že vytvářeli rámce, světonázory a filozofie. Klíčová věc, která takové lidi odlišuje od tvrdých vědců, je, že výstupy jejich práce nejsou ve světle reflektoru postaveny technickou správností samotnou, ale vyžadují i morální úsudek. Jeden ze stěžejních důvodů, proč mohou mít ideologie intelektuálů takovou moc, je ten, že jsou plody génia ve světě, kde je génius vzácný. Záplava ideologií vytvořených AI může znamenat, že žádná jednotlivá ideologie — a rozhodně žádná lidská — už nemůže zářit tak jasně. Světodějný intelektuál může vyhynout.

Politika může být jednou z nejméně zasažených možností, protože bychom hádali, že většina lidí chce, aby tuto práci dělal člověk, a protože politici určují pravidla toho, co je dovoleno. Charisma avatarů generovaných AI a obecná nechuť k politikům tu ale mohou vším zamíchat. Těžko také říct, zda budou zvýhodněni stávající aktéři. AI může snížit náklady mnoha částí politické kampaně a snížit tak cenovou bariéru vstupu. Pokud je ale AI „příliš drahá pro malé aktéry“ citelně lepší než ta levnější, zvýhodnilo by to aktéry s většími zdroji. Očekáváme, že tyto přímé dopady budou menší než dopady nepřímé, plynoucí z toho, jak AI změní memetickou krajinu.

Vojenský úspěch jako přímá cesta k velké moci a otřesům — naštěstí — v podstatě neexistuje od dob Napoleona. Postupující technologie zvyšuje minimální průmyslovou základnu potřebnou pro špičkovou armádu, což nahrává stávajícím mocnostem. AI zřejmě budou ovládat nejmocnější země. Jednou výjimkou je, pokud se převraty ve velkých zemích stanou s AI snazšími. Kontrola nad budoucími AI armádami bude pravděpodobně jednak (a) centralizovanější než dřív, protože k provedení vojenské akce už nebude muset spolupracovat velký počet lidí, a jednak (b) přísněji ovladatelná než dřív, protože oprávnění lze zavést v kódu, nikoli v lidských společenských normách. Tyto dva faktory míří různými směry, takže je nejisté, jaký bude čistý dopad na snadnost převratů. Další možnou výjimkou je, pokud kombinace revolučních taktik a levných dronů umožní nějakému „Napoleonovi dronů“ zvítězit nad existujícími armádami. Důležité ale je, že ani jedno z toho nejspíš nepodpoří onen dobrý druh narušení status quo.

To vše znamená, že schopnost získat a uplatňovat moc v reálném světě bez existujícího kapitálu dramaticky klesne, jakmile budeme mít práci-nahrazující AI.

Vynucená rovnost je nepravděpodobná

The Great Leveler (Velký nivelizátor) je výborná kniha o dějinách nerovnosti, která (alespoň podle autora) docela dobře ustála kritiku. Její závěr zní, že všechna velká snížení nerovnosti v minulosti byla poháněna jedním ze „čtyř jezdců vyrovnávání“: totální válkou, násilnou revolucí, kolapsem státu a pandemiemi. Vyrovnání příjmových rozdílů bylo historicky natolik obtížné, že se v podstatě nikdy nestalo vědomou politickou volbou.

Představte si, že práci-nahrazující AI je tu. Mezi zeměmi a firmami propukne mohutná tahanice o to, kdo AI využije nejlépe. To vše je kapitálově náročné, takže každý si musí naklonit držitele kapitálu. Špičkové firmy zabývající se AI drží moc na úrovni států. Přerozdělování bohatství se na vrchol politické agendy nejspíš nedostane. ²

I kdybychom proto skončili ve velmi bohaté společnosti, je nepravděpodobné, že do ní budou lidé v budoucnu vstupovat ze stejné startovní čáry. Stejně tak je nepravděpodobné, že později dokážou svou relativní pozici výrazně změnit.

Zvažte také rovnost mezi státy. Některé státy budou z AI těžit mnohonásobně víc než jiné. Mnoho vyrovnávacích opatření, jako je UBI, by státy mohly v čemkoliv jako současný politický systém jen těžko rozšířit na neobčany. Platí to i o Spojených státech, nejliberálnější a nejhumanističtější velmoci světových dějin. Ve výchozím scénáři proto může světový řád vypadat — ještě víc než dnes — jako globální kastovní systém založený na zemi narození. ³

Výchozí výsledek

Ve výchozím scénáři bude ve světě po nástupu práci-nahrazující AI platit:

Peníze si budou moci kupovat výsledky v reálném světě lépe než kdy dřív.
Práce dává lidem menší páku než kdykoliv dříve.
Dosáhnout výjimečného úspěchu vlastní prací je ve většině, či všech oblastech nyní nemožné.
Nedojde k žádnému transformativnímu vyrovnání kapitálu, ať už uvnitř zemí, nebo mezi nimi.

To znamená, že ti, kdo měli v okamžiku nástupu práci-nahrazující AI značný kapitál, mají trvalou výhodu. Budou uplatňovat větší moc než dnešní boháči. Nováčci je neporazí, protože kapitál se nyní triviálně přeměňuje na nadlidskou práci v kterémkoli oboru.

V nejlepším případě je to svět jako nerovnější, bezprecedentně statické a mnohem bohatší Norsko: obrovský balík zdrojů nepocházejících z lidské práce (v případě Norska ropa) přináší užitek, který prosakuje ke všem, a ano, někteří jsou bohatší než jiní, ale všichni mají skvělou životní úroveň. Jedinými realistickými formami lidské ambice je hrát lokální společenské a politické hry v rámci své sociální sítě a třídy. Pokud nemáte hodně kapitálu, nemáte už šanci ovlivnit širší svět. Pamatujte: AI jsou lepší básníci, umělci, filozofové — lepší ve všem; proč by někoho zajímalo, co dělá nějaký člověk, pokud to není někdo, koho osobně zná? Ve feudálních společnostech by odpověď na otázku „proč je tento člověk mocný?“ obvykle obsahovala nějakou dlouhou rodinnou historii, končící snad u vzdáleného předka, který bojoval v důležité bitvě: „můj pra-pra-praděd bojoval v bitvě u Slavkova!“. V budoucnu by se odpověď na otázku „proč je tento člověk mocný?“ vystopovala k něčemu, co on nebo někdo jemu blízký udělal v éře před AGI: „můj strýc byl v technickém týmu OpenAI“. Budoucí děti budou žít své životy ve stínu svých rodičů, se sociální mobilitou vyhynulou. To má daleko k nejhorší budoucnosti, jakou si dokážeme představit, ale něco důležitého se ztratí.

V horším případě mají AI bilionáři téměř neomezenou a nekontrolovanou moc a existuje trvalá aristokracie, jež byla zabetonována podle toho, kolik kapitálu měli v době nástupu práci-nahrazující AI. Mocenské propasti mezi třídami by mohly dnešního člověka rozechvět, podobně jako dnešní lidé považují feudální stavovské hierarchie za groteskní. Ale nebojte — podobně jako feudální spodina svůj světový řád většinou přijala díky své kultuře i bez nadlidsky přesvědčivých AI kolem — přijme jej i spodina budoucnosti.

V úplně nejhorším případě lidstvo vyhyne, potenciálně kvůli pozvolné optimalizaci ve prospěch moci AI na úkor lidské prosperity po dlouhou dobu. Protože právě tam budou motivace moci a peněz mířit.

Směrem k prokletí inteligence

Viděli jsme, jak pokročilá AI ohrožuje jak běžné kariérní dráhy, tak schopnost výjimečného talentu něco ve světě změnit. Moc a páka většiny lidí nad světem pramení z toho, že dokáží odvádět užitečnou práci — z toho, že jsou ekonomicky relevantní. Práci-nahrazující AI může tuto moc a páku smazat. Ve výchozím scénáři to bude mít dalekosáhlé důsledky.

Za posledních několik století došlo k velkému posunu směrem k tomu, že státům na lidech víc záleží. Proč? Můžeme prozkoumat příčiny a posoudit, jak trvanlivě vypadají:

Morální a politické změny v návaznosti na Osvícenství, zejména rostoucí důraz na liberalismus a individualismus.
Blahobyt a technologie. Předindustriální společnosti byly většinou tak chudé, že významné snahy pomoci chudým by je přivedly na mizinu. Mnoho druhů pomoci (například účinná lékařská péče) je navíc možných jen díky novým technologiím.
Motivace pro státy starat se o svobodu, prosperitu a vzdělání.

AI hodně pomůže s druhým bodem. Na první bude mít nějaký složitý dopad. Ale právě třetí bod je nedoceněný. S práci-nahrazující AI už motivace států — ve smyslu toho, jaké kroky by státy měly podniknout, aby maximalizovaly svou konkurenceschopnost vůči ostatním státům a/nebo svou vlastní moc — nebudou s lidmi tímto způsobem sladěny. Adam Smith mohl napsat, že jeho večeře nezávisí na laskavosti řezníka, sládka či pekaře. Dnešní klasický liberál může věrohodně tvrdit, že oblouk dějin se skutečně ohýbá ke svobodě a hojnosti pro všechny, a to ne z laskavosti státu, ale kvůli pobídkám kapitalismu a geopolitiky. Po nástupu práci-nahrazující AI to ale už nebude pravda.

Tomu říkáme prokletí inteligence a právě to prozkoumáme příště.

1: Nebo jiná likvidní aktiva, případně nelikvidní aktiva, proti nimž jsou ostatní ochotni uzavírat smlouvy, anebo zvláštní vládní pravomoci.

2: Výjimkou by mohlo být, pokud nějaké nové politické hnutí nebo ideologie rychle získá velkou podporu a nějak je podpoří nějaký bezprecedentní účinek AI (například: nikdo už nemá práci, takže může veškerý čas věnovat politice, nebo vznikne nějaký nový koordinační mechanismus poháněný AI).

3: Platí to obzvlášť proto, že možností k imigraci bude pravděpodobně ještě méně. Hlavní pobídkou k povolení imigrace jsou její obrovské ekonomické přínosy, které existují jen tehdy, když lidé vykonávají ekonomicky smysluplnou práci.