Jak zlomit prokletí inteligence

Shrnutí: Odvracet AI katastrofy technologiemi pro bezpečnost a obrnění světa, aniž by to vyžadovalo centralizující kontrolu. Rozprostřít AI, která lidi spíše posiluje, než nahrazuje a která decentralizuje moc. Demokratizovat instituce a přibližovat je obyčejným lidem s tím, jak AI sílí.

Chceme vzkvétající, prosperující, svobodnou společnost. Vzhledem k moci AI jsou dobré instituce a vláda důležitější než kdy dřív. Abychom toho dosáhli, měli bychom budovat technologie a přijímat zákony, které naše instituce demokratizují a přiblíží je lidem, jimž slouží.

Kvůli prokletí inteligence ale samotná institucionální řešení nebudou stabilní. Prokletí inteligence je obzvlášť znepokojivé do té míry, do jaké zasáhne v období, kdy je třeba položit institucionální a politickou práci — což může být od postupně klesajícího podílu práce na příjmu až po okamžitý a vyložený převrat — a kvůli tomu, co naznačuje o dlouhodobé stabilitě.

Proto chceme rozprostřít decentralizovanou technologii, která co nejvíce pozvedá ekonomickou relevanci člověka.

Šíření mocné technologie ale vytváří rizika, že zlovolní aktéři (ať už lidé, nebo AI) napáchají spoušť. Hrozba této spouště nepřímo vytváří i důvody k centralizaci a sekuritizaci, což ohrožuje schopnost rozprostření. Musíme proto obrnit svět proti bezpečnostním hrozbám ze zneužití a z AI. Musíme odvracet katastrofy.

Abychom těchto cílů dosáhli, musíme postupovat odzadu a řešit každý problém u zdroje.

Odvracet

Zaprvé musíme odvracet bezpečnostní rizika plynoucí z AI proliferace, včetně zběhlých AI a katastrofického zneužití AI lidmi.

To je dobré samo o sobě. AGI by mohla pomoci zlovolným aktérům vytvářet nové bezpečnostní hrozby nebo způsobit katastrofy — anebo, je-li nezarovnané (misaligned), být bezpečnostní hrozbou sama o sobě. Těmto potenciálním katastrofám bychom měli předejít. Argument pro věrohodnost katastrofické hrozby z pokročilé AI technologie byl předložen jinde a podrobně, a zde jej nebudeme opakovat.

K odvrácení těchto rizik ale vedou dvě cesty. Můžete laboratoře zamknout, technologii centralizovat a zabránit jejímu rozprostření. Nebo můžete vybudovat technická řešení, která potenciálně katastrofická rizika AI vyřeší.

Druhou možnost rozhodně podporujeme, protože ta první je nejpravděpodobnějším způsobem, jak spustit prokletí inteligence.

Odvrácení katastrofy umožňuje svobodu

Technologie, která odstraňuje hrozbu katastrofy, umožňuje bezpečnou decentralizaci tím, že odstraňuje motivaci ke kontrole přístupu, pozastavení nebo centralizaci — to vše vyžaduje dramatickou koncentraci moci do rukou malého počtu aktérů. Pokud AI rizika nezvládneme dostatečně řídit, mohli bychom čelit katastrofě způsobené zběhlou AI, nebo uměle vytvořenou pandemií, případně „varovnému výstřelu“ — tedy události poháněné AI, která vyústí v neexistenční katastrofu a může být předzvěstí horšího, co teprve přijde.

Hrozba takových katastrof vyvolala různé centralizující návrhy. Návrh hnutí PauseAI by vytvořil režim globálního vládnutí, který by mohl jednostranně rozhodovat o tom, kdy lze trénovat AI modely s více než miliardou parametrů (to je méně než GPT-2) a kdy lze nasadit jakýkoli univerzální model, a to i navzdory námitkám jednotlivých zemí. Jak sami připouštějí (aniž by však nabídli řešení), „centralizace AI by mohla rizika převzetí zhoršit" tím, že vytvoří „jediný bod selhání, kterého by mohla využít lidská chamtivost a hloupost“.

Další příklad nalezneme v Bostromově práci „Hypotéza zranitelného světa“. Navrhuje „high-tech Panoptikon“, dvojnásob orwellovskou ¹ metodu předcházení vyhynutí pro případ, že technologie umožní obyčejným lidem působit hromadné katastrofy:

„Každý je vybaven ‚odznakem svobody' — nástupcem omezenějších nositelných sledovacích zařízení, jaká známe dnes, jako je kotníkový monitor používaný v několika zemích jako alternativa k vězení […]. Odznak svobody je o něco pokročilejší zařízení nošené kolem krku a osázené vícesměrovými kamerami a mikrofony. Šifrované video a zvuk se ze zařízení nepřetržitě nahrávají do cloudu a strojově interpretují v reálném čase. Algoritmy AI klasifikují činnosti nositele […]. Je-li zjištěna podezřelá činnost, je přenos předán jedné z několika vlasteneckých monitorovacích stanic. Jde o rozsáhlé kancelářské komplexy obsazené nepřetržitě. Tam […] důstojník svobody určí vhodnou akci, například kontaktuje nositele odznaku přes audiolinku, aby požádal o vysvětlení nebo o lepší záběr. Důstojník svobody může také vyslat inspektora, policejní jednotku rychlé reakce nebo dron k dalšímu prošetření. V malém zlomku případů, kdy nositel po opakovaných varováních odmítne zakázané činnosti zanechat, může dojít k zatčení nebo k uložení jiných vhodných trestů. Občané nemají dovoleno odznak svobody sejmout, leda když se nacházejí v prostředích vybavených dostatečnými externími senzory (což však zahrnuje většinu vnitřních prostor a motorových vozidel). […] Veškeré jednání důstojníků svobody pozorně sledují jak mechanismy poháněné AI, tak lidský dohled, aby se předešlo zneužití.“

Stejnému problému čelí i další návrhy, včetně Aschenbrennerova návrhu zamknout laboratoře a spustit „Projekt“ a podobných nařízení typu „vložme veškerou moc do národní vlády“: vytváří autority, které by po dosažení a rozšíření AGI měly jednostrannou kontrolu nad globálním technologickým pokrokem a současně by ovládaly prostředky ekonomické produkce. ²

Dějiny jsou prošpikovány příklady volání po centralizaci v rukou jediného aktéra, následovaného slibem, že takový aktér využije svou moc benevolentně, nebo se sám rozpustí.

Například podle marxisticko-leninské teorie by po socialistické revoluci měla být zřízena dočasná „diktatura proletariátu“, v níž je moc (ekonomická i politická) centralizována do rukou státu ovládaného proletariátem skrze komunistickou stranu. To by se teoreticky využilo ke zmocnění proletariátu a potlačení starého buržoazního řádu. Marxisté teoretizovali, že to povede k „odumírání státu“ a nakonec k dosažení komunismu — beztřídní, bezestátní společnosti. ³ V praxi však tato centralizace dala Stalinovi moc zavést pod posíleným státem, jež neměl žádnou motivaci se vytrácet, jeden z nejdrakoničtějších režimů v dějinách.

Důvěřujeme dějinám a motivátorům, a obojí vykresluje bezútěšný obraz toho, jak by si lidé v takovém světě vedli — zbaveni moci, vykořisťováni a vydáni na milost aktérům, které mají jen malou možnost ovlivnit.

Očekáváme, že ač jsou tyto režimy dnes politicky neprůchodné, byly by odemčeny v návaznosti na nějaké druhy varovných AI výstřelů. ⁴ Katastrofy historicky vytvářejí prostředí pro mocenské uchvácení ze strany vlád, právě takové, jaká jsou popsána výše. Jakmile budou jednou uzákoněny, povedou k centralizaci a umožní autoritářství. ⁵

Pokud jste zastáncem lidské svobody nebo technologického pokroku, měli byste být nejhlasitějším obhájcem technologií, které zmírňují potenciálně katastrofické riziko AI. Pokud to neuděláme a katastrofa nastane, nejpravděpodobnějšími politickými výsledky jsou jednosměrné jízdenky k prokletí inteligence.

Technologie k odvrácení katastrofy

Obranné technologie v duchu návrhu d/acc Vitalika Buterina a rámce společenské adaptace od Bernardiho a kol. umožňují přístup švýcarského sýra ke zmírňování rizik AI, kde žádná jednotlivá vrstva neodstraní všechna rizika, ale vrstvy dohromady je činí krajně nepravděpodobnými.

Příklad modelu zmírňování rizik typu švýcarský sýr, kde každá šipka představuje riziko a každý plátek představuje obranné opatření. Zdroj: CAIS

Podporujeme tento přístup, který vyvažuje bezpečnostní obavy s riziky autoritářství. Níže nastiňujeme konkrétní technologie, které by, pokud by byly zavedeny, mohly snížit rizika na přijatelnou úroveň v každé klíčové oblasti. Zaměřujeme se na to, co považujeme za nejpravděpodobnější katastrofické hrozby z AI: riziko zneužití (biologická bezpečnost, kybernetická bezpečnost a fyzická bezpečnost), hodnotová nezarovnanost (misalignment) a ztrátu kontroly.

Biologická bezpečnost je důležitá, zejména pro předcházení pandemiím. AI může usnadnit vytváření pandemií, ač to zůstane úzce omezeno fyzickými materiály a schopností práce v mokré laboratoři. Metody, jak zabránit vzniku pandemií, zahrnují:

Nástroje KYC (poznej svého zákazníka) a sledování nákupů, které přinesou vysokou míru dohledu nad nákupem potenciálně nebezpečných biologických materiálů, podobně jako infrastruktura proti praní špinavých peněz.
Prověřování objednávek od poskytovatelů syntézy DNA, což je dnes dobrovolný standard zaměřený většinou na známé patogeny, ale měl by se rozšířit o odhad pandemického potenciálu pomocí AI, jenž by zachytil i nové patogeny.
Monitoring odpadních vod k detekci jakéhokoli patogenu, který se rychle množí.

Pokud už pandemie začala, jejímu zpomalení velmi prospějí:

UV-C osvětlení ve vzduchotechnice (HVAC), které ničí patogeny kolující ve vzduchu a dělá pro vzduch to, co filtrace a chlorace udělaly pro vodovody na konci 19. a začátku 20. století (ukončení epidemií tyfu, cholery a úplavice).
Mlha (triethylenglykol) je bezpečná k dýchání a ničí patogeny, potenciálně ještě účinněji než UV-C. Je chemickým prekurzorem v mnoha dodavatelských řetězcích, takže by ji při šířící se pandemii bylo možné snadno a rychle hromadně vyrobit, pokud se práce na distribuci udělá předem. Její nasazení v rizikových místech, jako jsou nemocnice či přístavy, by mohlo zpomalit šíření patogenu. ⁶
Rychlá distribuce vakcín by pomohla, byť dnes regulační schvalování nových vakcín vyžaduje klinické studie, které jsou úzkým hrdlem rychlosti.

Jako vedlejší účinek by rázné vypořádání se s pandemickými hrozbami mohlo z velké části vyřešit i infekční nemoci.

Kybernetická bezpečnost se dá zhruba rozdělit na „tvrdou“ kyberbezpečnost zaměřenou na technické zranitelnosti a „měkkou“ kyberbezpečnost zaměřenou na správu přístupů, provozní bezpečnost a předcházení útokům sociálního inženýrství.

Na technické straně je snad největším jednotlivým rizikem z kybernetické ofenzivy AI bezprecedentní množství hackerského úsilí vynaloženého na zastaralý kód spravovaný organizacemi bez hluboké technické kompetence, zvláště když tento kód ovládá fyzickou infrastrukturu (kód spravovaný technicky kompetentními organizacemi bude pravděpodobně rychle vylepšen). Některé přístupy, které pomáhají s technickými riziky kyberbezpečnosti:

Formální verifikace kódu dnes vyžaduje spoustu individuální matematické práce, ale AI by to mohla zvládnout ve velkém.
„Velký refaktoring”: použití AI k přepsání mnoha existujících kódových bází od základu tak, aby byly bezpečnější a udržovatelnější. ⁷
AI by mohla snížit náklady na lidskou flexibilitu v klasických metodách detekce zranitelností, jako je statická analýza, fuzzing a penetrační testování.
Hardwarová bezpečnost bude důležitější, protože vznikne větší motivace útočit na čipy (zvláště pokud se softwarové zranitelnosti záplatují výše uvedeným, nebo budou-li aktéři na úrovni národních států chtít poškodit či špehovat hardware AI konkurenčních zemí). Jedním přístupem jsou pouzdra čipů odolná proti neoprávněné manipulaci.

Na provozní straně je snad největším rizikem automatizované sociální inženýrství (které už stálo za významnými kybernetickými incidenty). Přístupy k řešení zahrnují:

Skenování příchozích zpráv pomocí LLM pomůže proti cílenému phishingu (spear-phishingu).
LLM usnadní monitorování logů kvůli známkám útoku.
AI také může pomoci s podrobnou správou oprávnění, která je dnes hlavním zdrojem komplexity ve vysoce zabezpečeném IT, a zlepšit tak produktivitu i bezpečnost v organizacích nejvíce dbalých bezpečnosti (např. zpravodajské služby, armáda a snad i AI laboratoře).

Pokroky ve fyzické bezpečnosti by se rovněž mohly stát důležitými ve světě levných a autonomních dronů či robotů se smrtícími schopnostmi.

Zarovnání AI (alignment) zajišťuje, že AI sledují cíle, které jim dávají jejich tvůrci, a vyhýbají se zběhlým AI. Zatímco ostatní položky v této kategorii jsou o obrnění světa proti újmě ze strany AI nebo lidí posílených AI, zarovnání je o tom, učinit AI vnitřně méně škodlivými — obojí ale slouží stejným cílům: snížit šanci na katastrofy a snížit potřebu centralizovat, aby se těmto katastrofám předešlo. Agendy zarovnání byly zevrubně probrány jinde ⁸, ale ve stručnosti:

Škálovatelný dohled je o tom, jak dávat výkonným modelům přesnou zpětnou vazbu, aby se předešlo nesprávnému odměňování chybného či obojetného chování modelů. Příkladem je RLHF; další směry zahrnují zobecnění od slabého k silnému a bezpečnost AI skrze debatu (teorie; empirická práce).
Interpretovatelnost se snaží porozumět tomu, co neuronové sítě dělají, v naději, že nám to pak umožní ověřovat a/nebo usměrňovat chování modelu. Mechanistická interpretovatelnost se snaží porozumět finálním vytrénovaným modelům, zatímco vývojová interpretovatelnost studuje, jak se modely učí.
Automatizovaný výzkum zarovnání se snaží výše uvedené problémy odsunout na AI.

Kontrola AI se snaží zajistit, aby ani nezarovnané AI nemohly napáchat spoušť. Je v souladu se standardním bezpečnostním myšlením, kdy chcete, aby bezpečnost platila i při minimálních předpokladech o systému. Takový by měl být náš postoj k AI, dokud nebudeme mít dobré důkazy o zarovnání. ⁹

Politická podpora

Naším klíčovým politickým požadavkem jsou vlajkové ambiciózní projekty (moonshoty) podporované vládou pro technologie snižující rizika, které nastiňujeme výše, po vzoru operace Warp Speed.

Existují i další způsoby, jak by politika mohla technické zásahy nastíněné výše podpořit. Platí to zvláště pro hrozby biologické bezpečnosti, které soukromý sektor sám řeší nejhůře. Vlády by konkrétně měly nařídit pravidla KYC (poznej svého zákazníka) pro poskytovatele syntézy DNA, financovat monitoring odpadních vod kvůli patogenům a zakázat výzkum typu gain-of-function — vytváření patogenů s pandemickým potenciálem v laboratoři kvůli pochybnému informačnímu zisku.

Rozprostřít

Zadruhé musíme AI široce rozprostřít. To má dvě části.

Nejprve chceme zarovnat lidské schopnosti s potřebami institucí tím, že lidi pozvedneme. Pokud lidé dokáží poskytovat to, co mocné státy a firmy potřebují, zájmy moci přirozeně povedou k investicím do lidí. Měli bychom vyvíjet a rozprostřít technologii poháněnou AI, která zvyšuje lidskou produktivitu a udržuje člověka ve smyčce produkce ekonomické hodnoty.

Zjednodušený příklad hypotetické plně automatizované ekonomiky s uzavřenou smyčkou, kde lidé nemají žádnou roli.

Technologie s člověkem ve smyčce udržuje lidi v ekonomické smyčce tvorby hodnoty a udržuje tok zisku k lidské práci vedle těch (lidí či AI), kdo vlastní a ovládají kapitál spojený s AI.

Zadruhé, rozprostření pomáhá decentralizovat ¹⁰ způsobem, který předchází nebezpečným koncentracím moci. ¹¹

Decentralizace AI schopností pomáhá s rovnováhou moci.

Kdyby se revoluce osobních počítačů nikdy nenastartovala, počítače by zůstaly centralizujícím nástrojem, který pomáhá velkým firmám a byrokraciím upevňovat moc. S revolucí osobních počítačů se ale výpočetní technika stala decentralizující silou, která pomohla pozvednout schopnosti všech a zároveň umožnila průlomové startupy, jež narušily status quo.

Z krátkodobého hlediska znamená budování technologie rozšiřující lidské schopnosti to, že široká škála lidí bude produkovat hodnotu déle. Tím se decentralizace stává pravděpodobnější. Namísto toho, aby hodnotu zachycovala jen úzká skupina AI firem a jejich dodavatelů, kteří postupně automatizují zbytek ekonomiky, technologie augmentující člověka zvyšuje konkurenceschopnost všech. Pomáhá lidem získávat kapitál a zdroje a budovat zásoby znalostí, dat a zkušeností, které brání centralizaci typu „vítěz bere vše“. Měli bychom usilovat o období (co nejdelší), kdy se lidé a AI specializují na komplementární úkoly a mají symbiotické ekonomické role, namísto toho, abychom volili nejkratší cestu k úplnému nahrazení veškeré lidské práce umělou inteligencí.

Z dlouhodobého hlediska schopnosti AI pokročí natolik, že lidská ekonomická konkurenceschopnost bude čím dál vzácnější. Lidská role se bude přesouvat k delegování, vlastnictví a určování hodnot. Pravděpodobně i k udržování vztahů s ostatními lidmi a snad k rozhraní s právním systémem. Do té doby očekáváme, že dojde k decentralizaci tvorby, vlastnictví a kontroly těch částí ekonomiky AI, které vytvářejí hodnotu, jež udrží člověka ve smyčce ekonomiky, i když se ekonomika odpoutá od přímé lidské práce.

Dvě fáze rozprostření, jak se budou AI zlepšovat.

Krátkodobě: prodloužit období člověka ve smyčce, a umožnit tak decentralizaci

Všichni se shodnou, že technologie augmentující člověka by byla žádoucí, ale mnozí z těch, kdo se ohledně AI „probudili“, se domnívají, že AI vývoj bude prostě příliš rychlý.

Je pravda, že neexistuje žádná zásadní teoretická překážka tomu, aby AI dokázala splnit každý úkol, který zvládnou lidé. Je také pravda, že AI mají ve svém hardwaru a softwaru víc flexibility než lidé. To bude znamenat, že AI by nakonec mohly být rychlejší, levnější a schopnější než lidé, přinejmenším teoreticky — ale je nejisté, jak rychle se to podaří uskutečnit. Existuje důvod se domnívat, že období, kdy jsou augmentovaní lidé na špici, je možné a bude trvat celé roky. Že toto období lze prodloužit a že jeho prodloužení má hodnotu.

Zaprvé zvažme současný stav. Nejrychleji rostoucím AI startupem je Cursor, programátorský nástroj, který sází na takříkajíc člověka za volantem, a to více než mnohé konkurenční, méně úspěšné produkty. Práce METR ukazuje, že AI jsou čím dál lepší v řešení úkolů s delším a delším časovým horizontem, ale při současných trendech jim bude trvat téměř 7 let, než dosáhnou měsíčního časového horizontu, a téměř 9 let, než dosáhnou ročního časového horizontu s 80% přesností u dokončených úkolů. Je pravda, že mimo jiné algoritmické průlomy zde pokrok velmi pravděpodobně zrychlí, ale povšimněte si také, že výsledky METR jsou na jasně vymezených úlohách softwarového inženýrství, které nevyžadují hluboký kontext. Očekáváme, že rozlousknutí těžko posuzovatelných, vágních, kontextově bohatých úloh potrvá AI déle. Bude těžké sestavit datovou sadu a vybudovat RL prostředí. ¹² Tyto příkopy nevydrží navždy, ale věříme, že máme přinejmenším pár let. ¹³

Zadruhé, prodloužení tohoto okna má hodnotu, jak pro vládnutí, tak pro decentralizaci. Čím déle lidská ekonomická relevance vydrží, tím víc času lidé mají, aby se ohledně AI probudili, a tím víc prostoru je na diskusi a budování hnutí kolem vládnutí. ¹⁴ Politická změna může trvat a prokletí inteligence pravděpodobně zasáhne mnohem tvrději a rychleji, pokud se společnost ohledně plné automatizace probudí a poté se nechá zautomatizovat během jednoho volebního cyklu. „Šoková terapie“, ¹⁵ kdy se lidé přes noc stanou nezaměstnatelnými, pravděpodobně rovněž povede k extrémnější a chaotičtější politické reakci.

Jak jsme uvedli výše, prodloužení období „člověka ve smyčce“ na co nejdéle také pomáhá AI decentralizovat: namísto toho, aby pár AI laboratoří udělalo únikový sprint a uchvátilo ekonomiku, růst AI jde do šířky a umožňuje mnohem většímu počtu aktérů hromadit dovednosti, vlastnictví, specializace a zkušenosti v ekonomice poháněné AI. To by mohlo pomoci udržet rovnováhu moci ve společnosti mnohem zdravější, aniž bychom museli spoléhat jen na vládní přerozdělování a antimonopolní opatření. Celkově chceme prodloužit období, během něhož jsou lidé nezbytní k naplnění potřeb mocných aktérů, ¹⁶ což zase prodlužuje období, během něhož státy a firmy mají (mimozákonné zákonem) motivace se o lidi starat, a dává více aktérům čas vstoupit do ekonomiky poháněné AI dříve, než lidská relevance skončí. ¹⁷

Zatřetí, toto časové okno lze prodloužit skrze diferenciální technologický vývoj. Zaměření na krátké časové horizonty AGI a na nevyhnutelnost závodu o AGI coby svrchované hrubé skutečnosti naší doby je pravděpodobně správné, ale snadno může zastřít, že existují páky, kterými lze pohnout.

Budování technologií pro lidské schopnosti

Měli bychom budovat technologii, která je k lidské práci doplňkem, nikoli náhradou. Nástroje jako kladiva a počítače činí lidi efektivnějšími v jejich práci, a jsou tedy obvykle doplňky lidské práce. Obecně platí, že i když nástroje doplňující práci mohou proměnit krajinu profesí a úkolů, vedou zpravidla nejen k většímu růstu a hojnosti celkově, ale často mívají sklon zvyšovat i výnosy z lidské práce, a tím zvyšovat lidské mzdy. ¹⁸ Vize AGI je však ve své samotné definici nahrazující člověka: obecná inteligence, která dělá všechno, co zvládne člověk.

Jednání a podobnost člověku ovládly představu všech o AI. Ale vedle agentů podobných člověku existuje mnoho dalších typů užitečných inteligencí: nástroje, modely světa, vyhledávání informací, doplňování vzorců, poradci a kolektivní inteligence — implementované systémy jako API, predikční trhy, Community Notes a tak dále. ¹⁹ Jednání lze také rozložit na části: cíle, situační uvědomění, plánování, realizace a akce jsou všechno složky agenta. Ty nemusí být sestaveny do jediné umělé entity a AI v současnosti na těchto osách postupuje zdaleka ne rovnoměrně.

Namísto „unitárních agentů“, kteří plní všechny tyto funkce, bychom měli urychlit vývoj systémů AI, které plní jejich podmnožiny, přičemž mezeru vyplňují lidé nebo jiné systémy. Existují důvody se domnívat, že agenti jsou z dlouhodobého hlediska nejkonkurenceschopnější a přístupy, které jednání faktorizují, jsou nakonec nekonkurenceschopné, ale momentálně se zdá, že dlouhodobé jednání je jednou z věcí, v nichž je AI nejhorší, a mnoho směrů vývoje AI — včetně mnoha těch nejbezprostředněji ziskových — není o vytváření unitárních agentů. Lidstvo by mělo vzdorovat memetickým silám, které pohánějí hypevlak agentů AI, a diferenciálně urychlovat jiné větve technologického stromu.

Vezměte si generálního ředitele firmy. Ředitel je důležitou součástí firmy, i když pro všechno, co ředitel dělá, existuje ve firmě někdo lepší. Lidé by mohli zůstat v čele a u kormidla a působit jako ředitel či exekutivní funkce týmů AI i poté, co budou AI ve většině úkolů nadlidské.

Konkrétně, vzhledem k současnému vzorci schopností AI očekáváme, že mnohé z nejúčinnějších produktů využijí lidského směřování, porozumění kontextu a schopnosti vypořádat se s výjimkami k řízení AI systémů, které odvedou většinu práce. Lidé by mohli nadále poskytovat hodnotu skrze dobrý vkus v úsudku a strategii. Shora řízená kontrola společnosti několika AI systémy navíc trpí stejnými problémy jako centrální plánování. Hayek argumentoval pro důležitost nepsané tiché a lokální znalosti při řízení ekonomiky a pro to, jak to činí distribuovanou a decentralizovanou kontrolu nezbytnou. Jak jsme argumentovali dříve, existují dobré důvody se domnívat, že distribuovaná kontrola zůstává v ekonomice AI účinnější než centralizace, a ještě lepší důvody prosazovat technologii, která pomáhá udržet produkci hodnoty decentralizovanou, namísto toho, aby umožňovala shora řízenou kontrolu hrstkou nebo jediným systémem AI.

Níže uvádíme několik výchozích bodů pro to, jakou technologii stavět, aby se umožnilo rozprostření.

Pro-lidská uživatelská rozhraní. Dosud jsme neviděli, že by na nějaký nástroj AI byl uplatněn produktový vhled a design na úrovni Steva Jobse. Úsilí se čím dál víc vynakládá na vývoj AI agentů namísto AI nástrojů. To by se mělo změnit.

Zvyšování propustnosti mezi AI a člověkem a snižování latence. To umožňuje lidem začlenit AI pevněji do svých pracovních postupů a směrovat je rychleji a pečlivěji, čímž se symbiotické systémy člověk–AI stávají konkurenceschopnějšími.

Nástroje augmentované reality (AR) by mohly lidem pomáhat činit rozhodnutí a konat, zatímco od AI dostávají informace vysokým tempem. Jedna vize takových velmi mocných nástrojů je vykreslena v tomto příběhu.
Rozhraní mozek–počítač (BCI). ²⁰ Okamžitá zpětná vazba člověk–AI skrze BCI umožňuje lidem být účinnými kontrolory/manažery AI a těsněji se integrovat do systémů člověk+AI. ²¹ BCI by mělo být neinvazivní, aby se snížily bariéry adopce.

Lokalizované schopnosti AI by mohly decentralizovat moc od laboratoří a pomoci udržet více aktérů ekonomicky relevantními.

Snadné ladění (fine-tuning) modelů AI tak, aby lidé, malé podniky a startupy mohly vytvářet vlastní AI variace, jež ztělesňují jejich lokální znalost i jejich osobní úsudek, vkus a smysl směřování. Do té míry, do jaké je lokální a osobní znalost/vkus důležitá, to pomůže běžným aktérům zůstat relevantní a konkurenceschopní tím, že svou lokální znalost a vkus škálují AI produktivitou — více o vkusu a lokální znalosti viz zde a zde. Navíc, namísto zarovnání s mlhavým pojmem celkových lidských hodnot, nebo s preferencí firmy, by takové systémy mohly být hodnotově zarovnány přímo s jednotlivými uživateli.
Decentralizovaná robotika. Data jsou v robotice hlavním úzkým hrdlem a Moravcův paradox naznačuje, že robotika může za ostatními schopnostmi AI zaostávat. Robotika může nadále stát na doladění specifickém pro úlohu, jak je tomu dnes i u špičkové robotiky založené na hlubokém učení. To by mohlo vytvořit svět, kde jsou data a doladění specifická pro úlohy u výrobních robotů rozprostřena mezi mnoho aktérů, namísto centralizace do malého počtu velkých firem — zvláště pokud dokážeme prosadit open-source hardware a základní modely robotiky a usnadnit ladění robotiky. Jeden velký algoritmický průlom v zobecňování robotických dat by ale tuto možnost mohl zmařit.
Pomoci lidem vlastnit a ovládat lokální data. Pokud AI dokáže levně provést jakékoli hodnotné zpracování nebo dedukci, dostane-li nějaká data, schopnost odvádět intelektuálně hodnotnou práci bude čím úžeji omezena tím, zda dokážete fyzicky a právně poskytnout AI potřebné vstupy, spíše než samotným zpracováním informací. Pomáhat jednotlivcům a malým podnikům sbírat a spravovat vlastní data a poté tato data chránit před centralizovanými AI (metodami od používání open-source LLM namísto API laboratoří až po záměrnou obfuskaci a držení dat mimo veřejný internet, dokud jsou ještě užitečná) by pomohlo rovnováze moci. To by se dalo kombinovat s tržišti dat a dalšími systémy, které snižují tření při obchodu s daty a zároveň umožní vlastníkům dat na svých datech vydělávat, pokud účast na takových obchodech nevratně nepodkope (nespravedlivě levně) existující datové výhody (moats) způsobem, který centralizuje moc.
Distribuované trénovací běhy – jako dělá Prime Intellect – by mohly umožnit decentralizovaným skupinám trénovat modely AI.
Lokální výpočetní výkon pro běh výkonných modelů. Mnohé z toho je odvozeno od cen GPU, a nakonec bychom mohli doufat v GPU v každé domácnosti, podobně jako počítače přešly od nedostupnosti k tomu, že je vlastní každý (přinejmenším v podobě telefonu). Mezitím jsou ale výkonné GPU velmi drahé, a ač se o to někteří snaží, inference LLM se zlevňuje udržováním vysoké propustnosti skrze sdružování požadavků od mnoha uživatelů. Technologie 'důvěrného výpočtu' by vám mohly umožnit spouštět úlohy v datových centrech s doložitelnými zárukami bezpečnosti a soukromí. Lepší nástroje pro distribuovanou infrastrukturu by umožnily většímu počtu hráčů roztočit vlastní výpočetní klastry, které ovládají, a snížily by nákladovou bariéru kontroly nad vlastním výpočetním výkonem.
Levná AI obecně, zvláště open-source AI. Špatným výsledkem je, pokud řekněme systém, který dokáže z větší části nahradit nějakou vysoce kvalifikovanou práci, stojí ~20 000 dolarů ročně — částka, která firmě umožní nahradit zaměstnance, ale jednotlivému člověku znesnadňuje z ní těžit. Ač ceny inference LLM mimořádně rychle klesají, může nastat mezidobí, kdy je ceník obzvlášť nevýhodný pro spotřebitele a malé firmy, zatímco zavedeným hráčům umožňuje akceleraci. OpenAI například údajně plánuje brzy účtovat až 20 000 dolarů za měsíc za své nejpokročilejší AI. ²² Zvláště AI s otevřenými vahami a otevřeným zdrojem pomáhá vytvářet cenový tlak na AI laboratoře, který brání tomu, aby tento stav věcí dlouho vydržel.

Jak jsme zmínili, nepředstíráme, že augmentace člověka může být nekonečně trvanlivou záplatou. Odmítáme ale i myšlenkový proud, který je ochoten zvažovat pouze trvalá řešení. V budoucnu budeme pravděpodobně vědět víc, budeme moudřejší a běh událostí i technologický strom nám naservírují přinejmenším nějaká překvapení. Možná budeme mít k dispozici i neuvěřitelně inteligentní AI. Pokud se do té budoucnosti dostaneme s vzkvétající demokratickou společností, je to dobrý první krok.

Vedle své konečnosti je dalším potenciálním problémem technologie pro rozšiřování člověka to, že by mohla dále zvýšit výnosy z lidského talentu a laťku talentu potřebnou ke konkurování v ekonomice. Jedním z míst, kde jsou společné systémy člověk–AI pravděpodobně nejužitečnější, je úplná hranice, kde jsou schopnosti AI ještě nekonzistentní. Očekáváme, že to, jak AI vše zjednoduší, zvýší počet lidí, kteří mohou dosáhnout limitů, ale povede to také k rozdělením výsledků s ještě širšími chvosty než dnes. ²³ Pokud je ekonomicky relevantní byť jen malý zlomek lidí, státy a firmy jsou stále motivovány investovat do lidí a pěstovat výjimečné talenty. Větší příjmová nerovnost je však jednou ze sil, které tlačí ke koncentraci moci. Přerozdělování bude důležitější, stejně jako rozvíjení kultury noblesse oblige.

Dlouhodobě: decentralizace a zarovnání s uživatelem udrží člověka ve smyčce

Prožití prodlouženého období symbiózy člověk–AI a lidského zapojení do ekonomiky i v době, kdy AI postupuje, snad pomohlo širokému okruhu aktérů získat bohatství odvozené z AI a vytvořit a vlastnit části ekonomiky AI. To bude znamenat větší decentralizaci a menší koncentraci moci. Bude to znamenat, že více lidí moc vlastnilo, spíše než si ji vypůjčovalo.

Silné demokratické instituce, o nichž pojednáme v příští části, budou v tomto světě čím dál důležitější. Existuje však jedna technologie, která by také mohla být klíčová:

Zarovnání s uživatelem. Většina práce na hodnotovém zarovnání míří na sladění s nějakým generickým pojmem lidských hodnot (nebo — a to je mnohem pravděpodobnější, že nastane ve výchozím scénáři — s firemními stanovami či politickým kompromisem). Předpokládá, že následování instrukcí ze strany modelů je veškerá orientace na uživatele, jaká je potřeba. My ale očekáváme, že má-li model úspěšně jednat jménem uživatelů ve většině funkcí ekonomiky a světa, bude to vyžadovat jejich vysoce podrobné, detailní zarovnání s každým jednotlivým uživatelem. To by mohlo vytvořit ekonomiku agentů, z nichž každý je přímo navázán na jednu osobu. Činnosti agentů vydělávají této osobě příjem a spoléhají na uživatelův úsudek, vkus a tichou znalost, čímž ji udržují zapojenou do tvorby hodnoty. Stát by zdaňoval příjem osoby, nikoli činnosti agenta. ²⁴

Návrhy pro rozprostření

Zvyšování kvalifikace lidí v oblastech, které budou pro ekonomiku AI úzkým hrdlem. Systémy AI budou mít pravděpodobně oproti lidem nerovnoměrné profily schopností a budou vynikat v úlohách se snadnou verifikací, krátkými časovými horizonty a bez rozhraní s fyzickým světem. Tyto úlohy přirozeně vytvoří úzká hrdla, která lidé budou moci vyplnit, aby zůstali v ekonomice relevantní. Probíhá závod mezi zvyšováním kvalifikace a rekvalifikací lidí na jedné straně a vyhlazováním rozeklané hranice výkonu AI laboratořemi na straně druhé. ²⁵

AI tutoři pro změnu zaměstnání. Očekáváme, že změny ekonomiky přijdou historicky bezprecedentní rychlostí a budou vyžadovat rychlejší zvyšování kvalifikace než v minulosti.
Hledání dobrých technik pro dohled nad AI a školení lidí v nich.
Vzdělávací experimenty, jako nové typy škol a vzdělávacích programů. Současný vzdělávací systém, který se zaměřuje na úlohy s krátkým horizontem a snadným hodnocením, učí přesně to, co AI automatizuje.
Lepší prognózování schopností AI a jejich úzkých hrdel. Potřebujeme lepší předpovědi a porozumění tomu, co bude ekonomika potřebovat a v čem bude úzce omezena.

Zákonodárci by měli zakázat systémům AI vlastnit jakákoli aktiva, být členem nejvyššího vedení firmy, zasedat ve správní radě nebo vlastnit akcie. Dnes to zní hloupě, ale je důležité zakotvit zásadu, že vrchol trychtýře vlastní lidé, nyní, dříve než budou systémy dost dobré na to, aby se firmy pokusily tyto role delegovat.

Demokratizovat

Zatřetí bychom měli demokratizovat tím, že instituce víc ukotvíme v přáních lidí, jimž mají sloužit. Jako doplněk k zarovnání lidských schopností s institucionálními potřebami, jehož dosahuje decentralizace, bychom měli vyvíjet i technologii, která pomáhá zarovnat instituce s lidmi.

To je důležité, protože prokletí inteligence oslabuje institucionální motivace se o lidi starat. Ač doufáme, že kroky k rozprostření nastíněné výše vyřeší velkou část prokletí inteligence, posilování institucí je k tomu důležitým doplňkem. Bude také čím dál důležitější, jak schopnosti AI porostou a lidská ekonomická relevance bude klesat.

AI navíc rovněž pomůže moc centralizovat a učiní shora řízenou kontrolu věrohodnější skrze automatizaci účinného rozhodování, sledování a vymáhání. Čím mocnějšími se instituce stávají, tím pečlivěji je musíme navrhovat a hodnotově zarovnat.

Konečně, abychom udrželi lidi ekonomicky relevantními, budeme muset prosadit zásady, které posunou přínosy AI směrem k obyčejným lidem, oproti výchozímu stavu. Pokud jsou vůdci země snadno zkorumpovatelní nebo pokud patová situace brání akci, bude se tato země přizpůsobovat jen těžko. Ale je-li země stabilní, účinnou demokracií, může přebít kapitálové tlaky a úzké zájmové skupiny a poskytnout voličům způsob, jak upřednostnit vlastní cíle před cíli svých elit.

Neexistuje jedna jediná inovace, která by všechny tyto problémy vyřešila. Uvedeme však několik technologií, které pomáhají budovat silnější, demokratičtější instituce.

Demokratizující technologie

Zastoupení.

Digitální zastánci (navrženo Kulveitem, Douglasem a kol.), kteří umožňují tvůrcům legislativy posoudit hodnoty a názory dané populace. Modely sladěné s jednotlivými uživateli do detailu, jak jsme probrali v části o rozprostření, digitální zástupce přirozeně umožňují.
Sběr zpětné vazby ve velkém měřítku, který tvůrcům návrhů umožňuje získat podrobnější kvalitativní data o preferencích občanů, než jaká poskytuje současné prosté číselné dotazování. Raným příkladem je projekt Talk to the City od AI Objectives Institute. Představte si politika, který si může sednout s AI a u jakékoli otázky získat takovou úroveň porozumění preferencím a poměrům voličů, jako kdyby Tocqueville strávil rok cestováním mezi voliči a poté sepsáním analýzy.

Verifikace a důvěra. ²⁶

Ověřování lidskosti je užitečným stavebním prvkem pro mnoho věcí, včetně hlídání přístupu ke službám od online fór, přes registraci firem, až po distribuci vládních dávek občanům uprostřed moře předstírání identity a podvodů, které AI zlevní. Například anonymizované biometrické verifikační tokeny (jako World Network, dříve Worldcoin) se snaží prokázat něčí lidskost, aniž by předávaly jeho biometrii.
AI systémy jako důvěryhodní nezávislí auditoři. Je obtížné svěřit citlivé informace lidskému auditorovi a jsou drazí. Auditoři z řad AI by mohli mít nadlidskou rychlost, lacinost a spolehlivost, a možná bychom mohli mít doložitelné soukromí informací, které auditují, i doložitelnou bezúhonnost auditora. Představte si například, že byste mohli doložitelně spustit konkrétní auditní program (v jednoduchém případě prompt pro LLM) proti doložitelně soukromým informacím. To by mohlo pomoci s čímkoli: od vlád dávajících záruky občanům, přes firmy koordinující se navzájem, až po verifikaci mezinárodních smluv o kontrole zbrojení.
AI systémy jako důvěryhodní nezávislí poradci. Problémem lidských poradců je, že jejich perspektiva je často (správně) vnímána jako zaujatá, či sledující vlastní zájem. S LLM máme něco jako „pohled odnikud“ — inteligenci vytrénovanou na sebraných textech lidstva, bez osobní agendy. „Řekl to ChatGPT“ se už někdy používá jako zástupce nestranného rozhodčího.
Sledování činnosti vlády pomocí AI. AI by mohla demokratizovat schopnost mít analýzu a vhled (na úrovni národní bezpečnostní služby) do zvoleného aktéra. Ač to představuje mnohá rizika pro soukromí jednotlivců, společnost by to mohla využít ke sledování činů vlády a odhalování korupce. Představte si například platformu, na níž AI automaticky shromažďují informace o tom, které firmy lobbovaly za nějaký zákon a jaké změny pravděpodobně prosazují.

Koordinace.

Vyjednávání smluv je časově náročné, zvláště když je věc složitá a zahrnuje více stran. AI by mohla stranám, jimž by se dříve koordinace zdála příliš časově či finančně náročná, pomoci vyjednat smlouvu.
Automatizované vymáhání smluv založené na AI by se dalo — uvážlivě — využít k tomu, aby pomohlo aktérům zavázat se k akcím. Jednoduché příklady zahrnují sázky, které se vyřeší automaticky na základě úsudku AI, nebo platby dodavateli spouštěné automaticky při uspokojivém dodání práce.

Informační prostředí je kritické pro funkční demokracii, pro příčetné rozhodování kdekoli ve společnosti a pro silnou, účinnou kulturu.

Distribuované systémy pro ověřování faktů jako Community Notes na síti X ve velkém měřítku.
„Internetové rukavice“, kde uživatelé mohou pomocí AI vytahovat informace z platforem selektivně, nenávykově, aniž by je platforma vtáhla.

Demokratizující zásady

Vedle toho by zákonodárci měli podniknout okamžité kroky k posílení demokracií. Slabé demokracie se pod tíhou AGI rozdrolí. To by zahrnovalo:

Prosazení reformy financování kampaní
Reformu protikorupčních zákonů
Posílení byrokratické kompetence a snižování bobtnání

Vlády by měly zrychlit soudy a zákonodárné sbory. Koordinace kolem zákonodárných sborů a doba zpracování soudních případů mohou být ve srovnání s rychlostí pokroku AI nebo s rychlostí, jíž může jednat exekutiva poháněná AI, ledovcové. To vytváří hrozbu, že výkonná moc se může stát fakticky jediným a nekontrolovaným rozhodčím.

Vlády by se měly preventivně připravit na svět, kde spousta obyčejných lidí neposkytuje bezprostřední ekonomickou hodnotu, i kdyby to nikdy nenastalo nebo kdyby někteří lidé hodnotu stále poskytovali. Pokud k tomu dojde, měly by být připraveny zavést bezpočet opatření k distribuci ekonomických přínosů AI těm, kdo byli zbaveni práv. Mohl by to být suverénní majetkový fond s veřejnými vlastnickými podíly ve vysoce automatizovaných firmách, s povinností distribuovat stanovené procento přímo občanům. Mohlo by to také vypadat jako ústavní požadavky, aby vlády naplňovaly základní potřeby. Oba kroky by mohly stimulovat lidskou ekonomiku a zabránit zavírání odvětví orientovaných na spotřebitele, a zároveň lidem umožnit využít toto bohatství k rozjezdu vlastních podniků.

Nyní máte plán, jak zlomit prokletí inteligence. Co s ním uděláte?

1: Dvojitě orwellovský v tom smyslu, že jde jak o orwellovskou politiku, tak o to, že používá newspeak, aby své drakonické zákony zahalila do jazyka hájícího svobodu.

2: Pokud se AI stane náhradou lidské práce, centralizace v rukou jediného aktéra je v praxi centralizací prostředků ekonomické produkce do tohoto aktéra. To se podobá centrálnímu plánování.

3: Viz Leninův spis Stát a revoluce.

4: Domníváme se, že existuje pětidílná taxonomie varovných výstřelů, z nichž dva zřetelně vyústí v to, že vlády uzákoní centralizující bezpečnostní zákony. Od nejméně po nejpravděpodobnější, že spustí dramatické politické změny (podobnou tezi vyslovil Anton Leicht zde):
(1) Varovný výstřel, který vypadá jako porucha nebo závada: malá disrupce z AI bez velkých ztrát na životech, věrohodně způsobená chybou, nikoli lidským zneužitím či úmyslnou zlovolnou akcí systému AI. Mohla by to být chyba autonomní zbraně nebo kybernetický útok s omezenou disrupcí. Aktéři mohou být motivováni označit mnohé varovné výstřely za závady, i když model jednal úmyslně za účelem získání moci či způsobení újmy. Z toho neočekáváme žádné politické změny.
(2) Omezený varovný výstřel umožněný člověkem: člověk použije systém k způsobení malé disrupce bez velkých ztrát na životech. Mohlo by to být podobné prvnímu typu nebo poněkud větší. Z toho očekáváme minimální politické změny, většinou cílené na odpovědnost či trestní postihy za lidské zneužití.
(3) Varovný výstřel pocházející od cizí entity rivalské země: zběhlá AI cizího rivalského původu nebo cizí skupina rivalské země používající AI způsobí rozsáhlou katastrofu. V tomto scénáři očekáváme dramatické politické změny zaměřené na urychlení domácího pokroku AI.
(4) Rozsáhlý varovný výstřel umožněný člověkem: člověk spáchá teroristický útok nebo jinou velkou katastrofu pomocí AI. V tomto scénáři očekáváme dramatické politické změny směrem k centralizaci — ale jen pokud bude jasné, že byl umožněn AI. V případě uměle vytvořené pandemie například nemusí být její původ a míra, do jaké ji AI umožnila, jasné ještě roky poté.
(5) Rozsáhlý autonomní varovný výstřel: zběhlý systém AI spáchá nebo je přistižen při pokusu spáchat katastrofu, jež vyústí nebo by vyústila v katastrofické ztráty na životech. V tomto scénáři očekáváme dramatické politické změny směrem k centralizaci.

5: Pro další doklady viz Higgsovu knihu Crisis and Leviathan (Krize a Leviathan), která tvrdí, že v moderní době mají pravomoci udělené vládě sklon se v dobách krize stupňovitě a nevratně zvyšovat a poté neopadat (shrnutí zde), a kapitolu „Sekuritizace a desekuritizace“ od Oleho Wævera, která zdůrazňuje, jakou moc má při ospravedlňování mimořádných opatření už jen komunikační akt zarámování něčeho jako bezpečnostní otázky.

6: Děkujeme Andrewovi Snyder-Beattiemu za to, že nás upozornil na triethylenglykol.

7: Děkujeme Herbiemu Bradleymu a Girishi Sastrymu za tento nápad, rozvedený v jejich připravované práci.

8: Viz například přehledy krajiny agend zarovnání uvedené zde nebo zde.

9: Více o kontrole AI viz původní práce zde a navazující práce zde a zde.

10: Často se argumentuje, že riziko převzetí zběhlou AI je minimalizováno, pokud je veškerý vývoj AI centralizován v rukou jediného aktéra, který pak může postupovat opatrně a bez závodní dynamiky. Je ale nedoceněno, že převzetí zběhlou AI se zpomalí, je-li zbytek světa schopnější. Pokud si myslíte, že zběhlá AI určitě podstoupí rekurzivní sebezlepšování, které jí umožní vyšplhat na velmi vysokou úroveň moci, pak chcete minimalizovat šanci, že zběhlá AI vůbec kdy vznikne. Ale pokud si myslíte, že rekurzivní sebezlepšování nebude neuvěřitelně rychlé, pak jakákoli zběhlá AI snažící se převzít moc to bude mít tím těžší, čím víc jsou schopnosti AI rozšířeny po zbytku světa. V nejpravděpodobnějším světě je tedy rozprostření AI pro snížení rizika převzetí AI dobré.

11: Některé typy omezení AI samozřejmě s koncentrací moci pomáhají. Konkrétně omezování schopností AI totalitních států je z hlediska rizik koncentrace moci dobré.

12: Jak to vyjádřil jeden výzkumník OpenAI: „Nepovznášíme se k síle našich RL optimalizačních algoritmů — klesáme k hacknutelnosti našeho RL prostředí.“

13: Dalším paprskem naděje je nedávná práce z Epochu, která tvrdí, že většina hodnoty AI bude pocházet z obecné automatizace, nikoli z automatizovaného výzkumu a vývoje AI, a že výzkum a vývoj AI může být výrazně těžší než automatizace práce (viz také tento text od Jacka Wisemana a Duncana McClementse, který vyslovuje příbuzné teze). To by mohlo motivovat AI laboratoře, aby svůj omezený výpočetní výkon přednostně používaly k širokému nasazení v oblastech, kde už je to možné, namísto výzkumu a vývoje k rozlousknutí plně obecné AI nahrazující člověka. Ziskové pobídky by tak ve skutečnosti mohly udržet lidi ve výhodě déle.

14: Je také pravda, že příliš pomalý pokrok by mohl vyústit v efekt vařené žáby. Očekáváme však, že pokrok AI bude dostatečně rychlý, aby to nebyl problém.

15: Historickým příkladem toho, jak rychlé ekonomické přechody umožňují upevnění moci pryč od obyčejných lidí, je to, jak šoková terapie v Rusku vedla k rychlému vzestupu oligarchů, kteří rychle zhltli všechny zdroje. Noví oligarchové vytvořili s Jelcinem vzájemně závislý vztah. Putin později tuto moc využil k tomu, aby se etabloval jako autoritářský vůdce, a nakonec se vymanil z omezení i ze strany samotných oligarchů. Více viz Rosalského shrnutí zde a zde.

16: Děkujeme Liamovi Patellovi a Davidovi Duvenaudovi za návrh této formulace.

17: Důkladné vysvětlení toho, proč jsou opatření z doby před AGI lepší než přerozdělovací zákony z doby po AGI, viz Huang a Manning (2025).

18: Tato věta je záměrně opatrně formulovaná, neboť mezi rolemi a sektory se liší mnoho faktorů a jemností.

19: Eric Drexler o těchto tématech obsáhle psal a jsme zavázáni i několika diskusím s Tomem Everittem o jeho připravované práci na příbuzných otázkách.

20: Pro spekulace o tom, co BCI umožňují v delším horizontu, viz zde.

21: Povšimněte si, že BCI také zvyšují některá rizika autoritářství tím, že vládám umožňují číst (a možná nakonec ovládat) mysli. Očekáváme však, že kombinace technologií, ochrany soukromí a dobrých institucí a zákonů učiní BCI čistě prospěšnými.

22: Důležitou obavou zde je: ale jakmile mocná AI ještě zlevní, nebudou si zavedení hráči s hlubšími kapsami moci dovolit dražší supermocné AI, které převálcují ty s pouze mocnými AI? To zásadně závisí na tom, zda jsou výnosy z inteligence rostoucí, nebo klesající. Je zřejmé, že někdy jsou výnosy z větší inteligence velmi vysoké a rostoucí — snad v některých kritických intervalech evoluční cesty vedoucí k člověku (i když pravděpodobně ne v posledních ~30 tisících let, během nichž neandertálci s většími mozky vymřeli a velikost mozku H. sapiens zřejmě mírně poklesla) a v mnoha konkurenčních doménách, které zahrnují závodní dynamiku nebo dynamiku „vítěz bere vše“ (jako dostat se k vědeckému objevu jako první, nebo kvantitativní finance). Jindy však existují jasné meze schopnosti další inteligence přinášet masivně vyšší výnosy, například když je kriticky důležité vlastnit nějakou informaci nebo ovlivnit nějaký fyzikální proces, nebo když je systém vysoce chaotický. Nejsme si vědomi obecného argumentu pro to, že by zásadní či důležitou podmínkou byly klesající, nebo rostoucí výnosy z inteligence.

23: Alternativou je, že AI se v inteligenci žene vpřed, ale dostaneme ekonomiku silně omezenou robotikou, což vyústí v zánik téměř všech kancelářských profesí, zatímco dělnické profese zůstanou ještě několik let. To bude pro rozdělení mezd pravděpodobně vyrovnávající, ale pro společnost jako celek může být destabilizující, zvláště přijímáte-li model Petera Turchina o společenské nestabilitě poháněné nadprodukcí elit.

24: Více o tomto konceptu viz naše dřívější práce.

25: Povšimněte si také, že to, že lidé jsou v některých úlohách mimořádně dobří, efektivní a levní, snižuje pobídku pro AI firmy v těchto úlohách vyniknout; v ideálním případě dostaneme diferenciální specializaci lidí a AI, která vyústí v dlouhé období symbiózy člověk–AI, namísto volby nejrychlejší zkratky k nahrazení člověka. Starý příklad této vize viz esej J. C. R. Licklidera z roku 1960 Man-Computer Symbiosis (Symbióza člověka a počítače).

26: Viz též přednáška Richarda Nga na toto téma, která pokrývá příbuznou půdu.