Tvorba společenské smlouvy

Shrnutí: Prokletí inteligence rozbije základní společenskou smlouvu. Ač to věstí ponurou budoucnost, pochopení toho, jak ekonomické motivace přetvářejí společnosti, ukazuje k řešení: můžeme cíleně vyvíjet technologie, které udrží lidi relevantní.

Abychom pochopili, jak změnit motivace vedoucí k prokletí inteligence, měli bychom pochopit současnou společenskou smlouvu a to, jak směřuje k rozbití.

Za současné společenské smlouvy potřebují mocní aktéři lidi k tomu, aby si udrželi moc.

Platí to pro vlády. Viděli jsme, že nejbohatší státy jsou ty, které mají nejbohatší, nejvzdělanější a nejproduktivnější občany a které těmto občanům poskytují nejrozsáhlejší svobodu pracovat a myslet, jak se jim zlíbí. To dává občanům vyjednávací sílu — pokud nejsou jejich potřeby naplněny, mohou občané své vůdce zbavit moci, neboť vůdci koneckonců nemohou mít ekonomiku ani armádu bez lidí.

Platí to i pro firmy. Viděli jsme, že organizace, které potřebují špičkový talent, musí nabízet vyšší mzdy a lukrativní benefity. Pokud firma tento vztah neudrží, mohou zaměstnanci přejít k jiným firmám, nebo si založit vlastní.

Platí to i pro trh jako celek. Lidé jsou spotřebitelé a kupují věci, které buď 1) chtějí, nebo 2) jim pomáhají vydělat víc, aby si mohli koupit věci, které chtějí. Lidé jsou zároveň producenti, což znamená, že tržní síly motivují k investicím do lidí. Lidé sice možná musí sloužit trhu, ale trh slouží zase jim.

Současná společenská smlouva

Jak AI nahrazuje potřebu lidí, mohlo by se to převrátit. Klíče k moci mohou vést výhradně přes mimolidské výrobní faktory, jako jsou půda, kapitál, zdroje — a kontrola nad AI. Obyčejní lidé by mohli být ekonomicky vytlačeni a mocní aktéři by mohli ztratit důvod do nich investovat.

Společenská smlouva pod inteligenční kletbou

Tomu říkáme prokletí inteligence.

Prokletí inteligence motivuje k rozkladu společenské smlouvy, je protikladem demokracie a kapitalismu orientovaného na člověka — systémů, jež lidstvu vytvořily víc hodnoty než kterékoli jiné v dějinách. Kapitalismus i demokracie ve své podstatě pozvedají jedny lidi jako odměnu za to, že pozvedají druhé, a vytvářejí pro instituce motivátory, aby jim záleželo na tom, že se lidem daří a že jsou schopní. Všichni — včetně mocných — chtějí, aby se obyčejným lidem dařilo lépe. Oba systémy výslovně povzbuzují nové, aby vytlačili staré, čímž vytvářejí sílu pro pokrok a sociální mobilitu.

Pokud se státy budou řídit jeho logikou, prokletí inteligence je potáhne k zakořeněnému autoritářství, přinese bezprecedentní koncentraci bohatství a moci a přibouchne obyčejným lidem dveře k tomu, aby se měli lépe. Stane se to ale doopravdy?

Je společnost opravdu tolik vystavená ekonomickým motivacím?

To, že existuje pobídka, aby se společnost vydala nějakým směrem, neznamená, že se tak jistě stane. Kultury, vlády a instituce jsou rovněž neuvěřitelně silné síly s velkou setrvačností.

Existují však pádné historické důvody se domnívat, že tah pobídek — byť není absolutní — má z dlouhodobého hlediska na společenské struktury zásadní vliv.

Probrali jsme prokletí zdrojů, třídu příkladů, kterou ekonomové hojně studovali. Země bohaté na zdroje mají tendenci skončit s horšími institucemi a vládnutím. Prokletí zdrojů ale zdaleka není jediným historickým srovnáním.

V knize Foragers, Farmers, and Fossil Fuels (Sběrači, farmáři a fosilní paliva) historik Ian Morris tvrdí, že společenské struktury a hodnoty společností prochází během technologických revolucí proměnami. Téměř všechny zemědělské společnosti — na rozdíl od sběračských společností před nimi — tíhly k hierarchickému a patriarchálnímu uspořádání ¹. Během industriální éry se motivátory posunuly a najednou bylo pro stát důležité mít efektivní trhy, vzdělanou pracovní sílu, bohaté spotřebitele a dostatek svobody, aby umožnil působení svých vědců a podnikatelů.

Morrisovo znázornění ideální společenské struktury za feudalismu a industrializace v knize Foragers, Farmers, and Fossil Fuels. Není náhoda, že všechny země světa udělaly velké kroky od obrázku vlevo k obrázku vpravo, jak přejímaly industriální technologii.

Samotný růst rovněž posouvá motivátory. Je také pravda, že Osvícenství hrálo roli, ale náš příklon k liberální demokracii a bezprecedentně svobodným a zmocněným lidem byl výrazně posílen tím, že se tyto věci shodovaly s materiálními motivátory.

Jak poznamenávají MacInnes a kol. v práci Anarchy as Architect (Anarchie architektem), státy si nemohou svou strukturu vybírat svobodně — musí volit struktury, které obstojí v konkurenci s ostatními státy. Konkurenční nároky se s novými technologiemi mění. Konkrétně, pokud nějaká nová technologie umožní existenci nějaké vysoce konkurenceschopné společenské struktury, mohou být státy v reakci nuceny přijmout politiky, které zhoršují blahobyt.

Teoretický model z práce Anarchy as Architect (MacInnes a kol. 2024), znázorňující dopady zavedení nové technologie, která umožňuje společenské struktury s vysokým blahobytem a vysokou konkurenceschopností. Ne všechny technicky proveditelné společnosti (šrafovaná oblast) jsou uskutečnitelné, protože jen některé (plné oblasti) jsou dostatečně konkurenceschopné, aby přečkaly mezistátní soupeření a konflikt. Blahobyt však roste. Diagram upraven podle studie.

Dopady zavedení nové technologie, která umožňuje společenské struktury s nízkým blahobytem a vysokou konkurenceschopností. Nová technologie umožňuje vybudovat společnosti s vyšším blahobytem (modrá šrafovaná oblast nad současnou rovnovážnou úrovní blahobytu). Nejkonkurenceschopnější společnosti, které umožňuje, jsou ale na nižší úrovni blahobytu. I volba té nejlepší konkurenceschopné společnosti vede k čistému zhoršení blahobytu. Diagram upraven podle MacInnes a kol. 2024.

Vedle velkých příkladů industrializace a zemědělství, které rozebírá Morris, uvádějí MacInnes a kol. konkrétní příklady sahající až do starověku. Například zpracování bronzu vedlo k centralizaci moci. Bronzové zbraně byly velmi účinné, ale bronz byl velmi vzácný. To znamenalo, že bronzem mohla být vybavena jen malá válečnická elita jezdící na vozech, což jí pak umožnilo ovládnout bitevní pole. Poté pokroky v metalurgii umožnily zpracování železa. Nyní mohly být celé armády tvořené významnou částí populace vyzbrojeny železnými zbraněmi. Malá válečnická elita ustoupila masovým pěchotním armádám. Moc se decentralizovala a historické záznamy ukazují, že tehdy klesla i ekonomická nerovnost.

Technologie je většinou dobrá, protože rozšiřuje lidské schopnosti, a lidé dávají přednost tomu, používat tyto schopnosti k dobru. Většina technologií vypadá jako první diagram výše. Měli bychom ale usilovat o urychlení technologií, které pozvedají lidi a svazují konkurenceschopnost s blahobytem.

Velkým požehnáním naší doby je, že konkurenceschopnost je pozoruhodně provázána s tím, co si ceníme — s liberální demokracií, vládou práva a lidskou svobodou, vzděláním a prosperitou. Není ale přírodním zákonem, že tato provázanost potrvá. Liberální demokracie ve válce musí dělat kompromisy mezi lidským blahobytem, svou konkurenceschopností — a existencí. Základní kompromis je mezi tím, co si přejeme dělat, a tím, co dělat musíme.

Mohla by nás AI osvobodit od konkurenčních tlaků?

Někteří očekávají, že AI tyto materiální konkurenční tlaky učiní zastaralými. Uvádějí se pro to tři argumenty:

Zaprvé, hojnost: AI by mohla přinést obrovskou míru hojnosti, že odplaví všechny ostatní problémy. Hojnost může oslabit tvrdost konkurenčních tlaků a poskytnout takový polštář, že se lidem může přihodit leccos, pokud jde o nerovnost, rozvrat a ztrátu moci, a přesto zůstanou naživu a materiálně zajištění. To je dobré.

Jenže ani konkurenční tlaky, ani lidská hamižnost nemají žádný vnitřní bod zastavení — povšimněte si, jak geopolitické napětí v poslední době vystřelilo vzhůru navzdory historicky nejvyšší úrovni bohatství. Jak napovídá zdravý rozum, měli byste mít obavy o dlouhodobou stabilitu jakéhokoli uspořádání, v němž nemáte žádnou moc. A i kdybyste tak jako tak přežili v materiálním pohodlí, mohou existovat mnohem velkolepější a naplňující budoucnosti, pokud prokletí inteligence zlomíme, než pokud ne.

Zadruhé, nadvláda: AI by mohla vést k tomu, že svět ovládne jediný aktér, například skrze rekurzivní sebezlepšování AI systému tvořící bohu-rovnou super-inteligenci, nebo skrze nějakou firmu či zemi, která získá rozhodující výhodu nad zbytkem světa, jež jí umožní vnutit svou vůli všem ostatním.

Očekáváme, že rovnováha v oblasti AI bude multi-polárnější a dorazí pomaleji, než předpovídají některé agresivnější scénáře ², což činí tuto cestu méně pravděpodobnou. Ještě zásadnější je, že máme krajní obavy z obrovského rizika, které tato strategie obnáší. Pokud je onen jediný aktér zkorumpovaný, pokud jakýkoli následný přenos moci selže, či vznikne korupce, není odvolání. Hájit osobní moc na základě pro-společenských pohnutek a poté ji odklonit ke službě svým sobeckým zájmům je jedním z nejtypičtějších lidských selhání.

Zatřetí, koordinace: AI by mohla umožnit radikálně novou koordinační technologii. Mohli bychom zažít „přechod k volbě“, kdy souhrnné konkurenční tlaky přestanou pohánět dějiny a místo toho má vždy rozhodující hlas záměrné dlouhodobé směrování podle kolektivních preferencí lidstva. Nové typy institucí a nová koordinační technologie by nám mohly umožnit obeplout konkurenční pasti, aniž bychom potřebovali jediného centralizovaného aktéra — podobně jako nám trhy umožňují plánovat ekonomickou činnost bez centrálního plánování.

Radikální míra prospěšné koordinace bez jakéhokoli rizika koncentrace moci a bez kteréhokoli ze standardních selhání centrálního plánování by jistě byla skvělá, pokud by byla možná. Existuje jistá šance, že nás koordinační technologie poháněná AI nakonec posune tímto směrem dál, než si dnes dokážeme představit, ale neočekáváme, že tato technologie ani institucionální připravenost a koordinace dorazí dřív, než nás prokletí inteligence začne kousat. Ve výchozím scénáři očekáváme, že dopady práci-nahrazující AI odemkneme dřív než její ostatní transformativní dopady. A tak ačkoli nás technologie pro lepší koordinaci a instituce nadchla, v příští eseji k tomu ostatně navrhujeme několik nápadů, cítíme hlubokou obezřetnost vůči tomu sázet budoucnost lidstva pouze na ni.

Diferenciální technologický vývoj

Ač jsme skeptičtí k tomu, že by řešení založená na koordinaci problém vyřešila zcela, a ač materialistická vysvětlení společnosti mohou znít skličujícím dojmem, říkají nám něco velmi mocného: budováním různých technologií můžeme společnost trvale posouvat lepším směrem.

Diferenciální technologický vývoj představil Vitalik Buterin v eseji „Můj techno-optimismus“. Stejně jako Buterin odmítáme představu, že nás technologie neúprosně žene buď ke zkáze, nebo k utopii, a že stačí jen zpomalit, nebo zrychlit tempo technologického pokroku.

Buterinovo znázornění postojů k technologickému pokroku (originál zde). Oba zjednodušující pohledy jsou mylné. Nebezpečí číhá vepředu i vzadu a na cestě jsou rozcestí.

Nemůžeme rozhodnout, které technologie jsou možné, ale můžeme rozhodnout, které z nich postavíme. A tím, že rozhodujeme, co stavět, utváříme pobídky, jež zase utvářejí společnost.

Dobrý výsledek

Chceme žít ve světě, kde:

1. Lidé dokáží vytvářet ekonomickou hodnotu sami pro sebe a dokáží rozvracet stávající elity ještě dlouho po příchodu AGI.

2. Každý má bezpříkladně vysokou životní úroveň, jak proto, aby měl naplněny své potřeby, tak proto, aby peníze nadále proudily lidskou ekonomikou.

3. Žádný jediný aktér, ani oligarchie — ať už jsou to vlády, firmy, nebo hrstka jednotlivců — nemonopolizuje AGI. Tím pádem žádný jediný aktér nemonopolizuje moc.

4. Obyčejní lidé mají pod kontrolou svůj osud. Považujeme za samozřejmou pravdu, že lidé by měli být pány své vlastní budoucnosti.
   

Společenská smlouva, o niž s AGI usilujeme: AI pomáhá jak mocným aktérům, jako jsou státy a firmy, tak lidem. Lidé mohou mocné aktéry vytlačovat, čímž pohánějí společenskou změnu a pokrok. Lidé mohou ovlivňovat pravidla, která mocné omezují.

Abychom toho dosáhli, měli bychom budovat technologie, které lidem pomáhají zůstat ekonomicky relevantními, které snižují rizika koncentrace moci, které zlepšují naše instituce a které chrání před katastrofami.

1: A těmi zemědělskými společnostmi, které byly mnohem méně patriarchální, byly většinou ty, jež praktikovaly motykové zemědělství (např. Polynésané) namísto pluhového, a to kvůli důvodu cenit si větší síly mužské horní poloviny těla, jak argumentuje Constantin (2017).

2: Například scénář AI 2027 od Kokotajla a kol. popisuje explozi inteligence odehrávající se v roce 2027, poháněnou vývojem nadlidských programátorů z řad AI a poté nadlidských výzkumníků z řad AI, kteří jsou nasazeni na zlepšování sebe sama. To pak vede k rekurzivnímu sebezlepšování AI i k velmi rychlému vývoji univerzální robotiky. Ač takový scénář nemůžeme vyloučit, náš zhruba mediánový scénář budoucnosti je popsán v Dějinách budoucnosti (část 1, část 2, část 3). Očekáváme, že rozběh AI bude plynulý a postupně se zrychlující, ale že explozivní ekonomický růst a proměna fyzického světa budou úzkým hrdlem brzděny robotikou (viz např. zde pro určité ekonomické modelování). Očekáváme také, že ne vše potřebné pro pokrok AI, pokrok v robotice či jiný vědecký pokrok bude něčím, v čem dokážeme rychle a levně postupovat čistě digitálně. Současná AI spoléhá na obrovská množství dat, ať už dodaná přímo datovou sadou, kterou se AI učí napodobovat, nebo zpětnou vazbou poskytovanou digitálním prostředím zpětnovazebního učení (RL). Současná AI se také čím dál víc učí zobecnitelné dovednosti, které se přenášejí napříč úlohami a umožňují jí hluboce porozumět trénovacím datům, nikoli je jen povrchně napodobovat, ale přesný rozsah a trendy jsou složité a jemné, a to jak v působivém, tak v nepůsobivém směru. Ač se AI pravděpodobně bude velmi rychle zlepšovat ve všem, kde existuje obrovská datová sada nebo kde lze vybudovat digitální RL prostředí s krátkým časovým horizontem, které odměňuje úspěch, domníváme se, že panuje nejistota ohledně toho, jak rychle se AI zlepší v ostatních úlohách. Mnohé závisí na tom, jak se zobecní nové paradigma uvažujících modelů. Protože očekáváme pomalejší rozběh AI, očekáváme i multi-polárnější výsledek, neboť první aktér, který vstoupí do fáze rekurzivního sebezlepšování, nezíská automaticky neuvěřitelný náskok.