Nove primene AI-a: istraživači napravili robota-domaćicu koji koristi GPT program

Grupa istraživača sa Prinstona, Stenforda i Gugla kreirala je robota koji koristi velike jezičke modele (LLM, u narodu poznat kao “AI”) pod nazivom TidyBot, koji može da obavlja poslove u domaćinstvu, kao što je sortiranje veša i prikupljanje reciklaže sa poda kada mu se daju jasne instrukcije na engleskom.

Mnogi istraživači su pokušali da spoje LLM sa robotima kako bi samostalno obavljali zadatke. Gugl i Majkrosoft su već napravili verzije robota koji kombinuju vizuelne i jezičke mogućnosti i koji mogu da vam donesu kesu čipsa iz kuhinje. Istraživači koji stoje iza TidyBot-a napravili su korak dalje, tražeći od LLM-a, posebno OpenAI-jevog GPT-3 Davinci modela, da uzme u obzir korisničke postavke i primeni ih na buduće interakcije.

Istraživači su u radu napisali da su prvo zamolili osobu da pruži nekoliko primera odlaganja stvari kao što su „žute košulje idu u fioku, tamnoljubičaste košulje idu u orman, bele čarape idu u fioku“, a zatim su pitali LLM da sumiraju primere kako bi se postavile opšte preferencije za datu osobu.

„Osnovni uvid je da su mogućnosti sumiranja LLM-a dobro odgovaraju zahtevima generalizacije personalizovane robotike“, napisali su autori. „LLM demonstriraju zapanjujuće sposobnosti da izvrše generalizaciju kroz sumiranje, oslanjajući se na kompleksna svojstva objekata i odnose naučene iz masivnih tekstualnih skupova podataka”.

„Za razliku od klasičnih pristupa koji zahtevaju skupo prikupljanje podataka i obuku modela, mi pokazujemo da se LLM mogu direktno koristiti za postizanje generalizacije u robotici, koristeći moćne mogućnosti sumiranja iz ogromne količine tekstualnih podataka“, dodali su oni.

Vebsajt za ovaj projekat prikazuje robota koji je u stanju da sortira veš, da reciklira limenke za piće, baci smeće, odloži torbe i pribor, odloži razbacane predmete tamo gde im je mesto i stavi igračke u fioku.

Istraživači su prvo testirali tekstualni skup referentnih podataka, gde su unosili korisničke postavke, a zatim su zatražili od LLM-a da kreira personalizovana pravila kako bi odredio gde objekti pripadaju. LLM je sumirao primere u opšta pravila, a zatim je koristio sumiranje da odredi gde da postavi nove objekte. Referentni scenariji su definisani u četiri sobe, sa 24 scenarija po prostoriji. Svaki scenario sadrži dva do pet mesta za postavljanje objekata i jednake količine vidljivih i nevidljivih objekata za sortiranje modela. Robot je, napisali su, postigao je tačnost od 91,2 odsto na nevidljivim objektima.

Kada su primenili ovaj pristup na robota u stvarnom svetu, ustanovili su da je uspeo da odloži 85 odsto objekata. TidyBot je testiran na osam scenarija iz stvarnog sveta, svaki sa sopstvenim skupom od deset objekata. Pored LLM-a, TidyBot koristi klasifikator slika koji se zove CLIP i detektor objekata pod nazivom OVL-ViT.

Danfei Ksu, docent na Školi za interaktivno računarstvo na Georgia Tech, rekao je za VICE da LLM omogućavaju robotima da imaju više sposobnosti za rešavanje problema. „Prethodni sistemi za planiranje zadataka se najviše oslanjaju na neke oblike algoritama za pretragu ili optimizaciju, koji nisu baš fleksibilni i teški su za konstruisanje. LLM i multimodalni LLM omogućavaju ovim sistemima da iskoriste prednosti podataka na Internetu i lako generalizuju iskustvo i primene ga na nove probleme“, rekao je on na pitanje o Guglovom PaLM-E.