Kdo se bojí technologické singularity?

Technologická singularita je hypotéza počítačového vědce a spisovatele Vernona Vinga, který v roce 1993 prohlásil, že technologie způsobí dramatickou změnu života na Zemi a po ní „skončí lidská éra". Tím mínil, že se tak či tak moci ujmou počítače.

Někteří futuristé jako Ray Kurzweil si myslí, že až technologická singularita nastane, bude to naprosto fantastické. Neustále se vyvíjející stroje začnou opravovat naše buňky zevnitř, budou za nás myslet, když se nám nebude chtít, a všechno se jejich existencí zlepší.

Ale pro paranoidní fanoušky sci-fi, jako jsem já, bude singularita momentem, kdy lidé začnou pykat za svou prometeovskou technologickou aroganci – nejspíš formou války proti zlým počítačům jako ve filmu Terminátor 2: Den zúčtování, který jsem pro účely článku použil jako názorný příklad děsivé singularity.

Probral jsem tenhle koncept špatné singularity s několika vědci. Převážně byli toho názoru, že by se toho racionální člověk neměl neustále obávat (tak jako já). „Myslím si, že neexistuje žádný důvod se bát, ani v nejmenším," řekl Danko Nikolic, výzkumník v Institutu Maxe Plancka pro zkoumání mozku a nadšenec do umělé inteligence. Právě umělá inteligence ve mně přesto pořád vyvolává obavy z nevyzpytatelných překvapení.

Hodný Terminátor: „Firma Cyberdyne se stane největším dodavatelem vojenských počítačových systémů. Všechny neviditelné bombardéry budou vybaveny počítači Cyberdynu, čímž se stanou zcela bezpilotními. Pak budou létat s bezchybným služebním záznamem. Zákon na financování Skynetu je schválen. Systém se zapne čtvrtého srpna 1997. Strategie se obejde bez lidského rozhodování."

Díky dronům Predator a Reaper se zdá, že dost věcí, které vedly ke dnu zúčtování v Terminátorovi 2, se již staly skutečností. „Čistý služební záznam" není nic, co by dronům náleželo, protože mají pověst větších zabijáků civilistů než nepřátelské jednotky. Rozhodně je to nedělá méně děsivými, přesto se tahle skutečnost Dne zúčtování zdá být v nedohlednu.

Každopádně je děsivý to, že autonomní roboti můžou brzy bojovat, je ale záhodno připomenout, že robotí vojáci nebudou podle Petera Asara, filozofa vědy a technologie na New School a mluvčího kampaně Zastavte roboty zabijáky, ještě dlouho stát za nic.

„Systémy si neumějí stanovit vlastní cíle," řekl mi. Ano, můžeme poukazovat na případy softwarů, z kterých až mrazí; porážejí nejlepší lidské mozky v šachu nebo poznávají obličeje přátel na Facebooku. Ale tyto schopnosti jsou výsledkem kopydat, které jim dodávají velmi trpěliví lidé. Aby počítače dokázaly řešit problémy samostatně, řekl Asaro, „potřebovali bychom velkou revoluci v počítačové vědě".

Soběstační, ozbrojení roboti zkrátka v blízké době nenahradí třeba policisty, což je uklidňující, protože by to byla podmínka pro druhou fázi.

Hodný Terminátor: „Skynet se učí geometrickou rychlostí. Sebeuvědomění nabude ve 2:14 odpoledne východního času, 29. srpna. Lidé se ho v panice snaží odpojit."

Sarah Connorová: „Skynet se brání."

Můžou si počítače vyvinout vědomí podobné tomu lidskému a „probudit se"? Pro účel tohohle článku mi na tom nezáleží ze dvou důvodů: 1) Existují pochybnosti, jestli to vůbec dává smysl, a 2) už stroj bez vědomí, kterej mě chce zabít, je sakra děsivej.

Kdybychom si odmysleli, že roboti mají vědomí, singularita vyžaduje uměle inteligentní systémy, které by dokázaly to, čemu Ray Kurzweil říká „zákon zrychlujících se obrátek", nebo Asaro „akcelerační model". Tento jev zahrnuje věci, které se začnou vyvíjet tak rychle, že se systém ujme moci a začne inovovat sám sebe.

Stane se to? Možná, ale podle Nikolice nejspíš ne.

Je zcestné předpokládat, že nárůsty výkonu počítačů jsou stejné jako nárůsty jejich sofistikace, vysvětlil. „Je to, jako byste říkali, že s dostatkem papíru a tužek může každý napsat mistrovské dílo jako od Dostojevského." Nikolic naťukl, že obrovský rozvoj nervových sítí – propojených počítačů, které napodobují způsob, jakým fungují mozkové buňky v našem mozku – může teoreticky přinést prudké zrychlení. Stále ale pochybuje, že vlastní exponenciální nárůst umělé inteligence bude někdy možný. Vysvětlil to na limitech lidského mozku.

My lidé se můžeme leccos naučit, ale přese všechno nemůžeme přeskládat svůj mozek, abychom se udělali chytřejšími. „Můžete udělat změny v počítačovém softwaru, ale nevěděli byste, co na sobě změnit, abyste byli chytřejší," řekl mi. Jinak řečeno, superchytrý počítač může vylepšit sám sebe a nejspíš by se mu to hodilo, ale nezvyšovalo by to exponenciálně jeho inteligenci jen proto, že si hodil pár lepších procesorů na mateřskou desku navíc.

Singularita, ve které budou bojoví roboti kráčet se zbraněmi po postapokalyptické dálnici za volání „zabijme všechny lidi", je nejspíš hollywoodská kravina. Ale jakýkoliv záblesk toho, co Vinge nazývá „nadlidskou inteligencí", je pořád pěkně děsivé z jiných důvodů, řekl mi Asaro. „Jako u každé jiné technologie, která je široce používaná, bychom měli mít starost o to, jak se umělá inteligence vyvíjí a jaký bude mít vliv na naše životy."

I kdyby roboti, kteří by převzali moc nad našimi životy, byli přátelští a chtěli nás ochraňovat, hrozilo by nám nebezpečí – ekonomické a sociální. V Sillicon Valley ujížděj na technologiích, které nám vyráží pevnou linku z ruky, hází naši sbírku cédéček z okna a ničí taxikářům kšefty. Například vzestup Uberu „ekonomicky zvýhodnil jednu společnost oproti několika stovkám nebo tisícům jiných".

Takže až přijde umělá inteligence, obává se Asoro, bude to jen jedna v dlouhé řadě těch, které se zjeví ve společnosti. A vyhodí to, co máme na životě rádi, do konťáku. A po nějaké formě singularity se rychlý pokrok, který přinese všechny tyhle zlepšováky, zvrhne v něco jako tornádo, které „nebude mít lidi na to, aby by ho dokázali řídit".

Na jednu stranu vás z toho mrazí, na druhou vás to vzrušuje.