Quando a Inteligência Artificial é Burra

O fato de que um humilde chatbot adolescente chamado Eugene passar no Teste de Turing pela primeira vez na história foi a manchete perfeita para alimentar a internet: o Washington Post definiu-o como um marco histórico. A PC World chamou o assunto um divisor de águas. Outros seres humanos, incluindo eu, acham que tudo não passa de uma grande bobagem.

Isso pode soar meio radical, mas, considerando a maneira com que o Teste de Turing foi consagrado na mitologia popular como “o momento em que máquinas se tornam mais esperta que humanos”, uma cutucada em algumas opiniões cegas é cabível aqui. Talvez valha a pena celebrar a conquista tecnológica, mas está distante de ser um marco verdadeiro: é outro passo previsível em direção à inteligência artificial que ainda não é tão inteligente assim. Passe cinco minutos com o Eugene, e você vai ver com seus próprios olhos.

“Eugene Goostman” é um robô que foi desenvolvido em São Petersburgo, na Rússia, em 2001 por Vladimir Veselov, da Princeton AI, e pelo ucraniano Eugene Demchenko. Alimentado por um supercomputador, o programa foi criado para imitar os padrões de linguagem e conversação de um adolescente ucraniano que está aprendendo inglês. Há duas semanas atrás, na Royal Society em Londres, aplicaram ao Eugene a versão moderna do Teste de Turing. Ele põe em questão a dúvida pioneira de 1950 do Alan Turing -- as máquinas podem pensar? --, colocando trinta juízes para avaliar Eugene, além de outras inteligência artificais e humanos reais, em séries de 5 minutos de conversas, nas quais os juízes não sabem quem está atrás da cortina.

Quando respondeu a perguntas ao lado de uma pessoa verdadeira, 33% dos avaliadores  aparentemente confundiram Eugene com um humano -- portanto, preenchendo os requisitos para que uma inteligência artificial passasse o teste. Alguns só esperavam que isso fosse acontecer daqui a alguns anos. Em 2002, Mitch Kapor apostou $20 mil dólares com Ray Kurzweil: “Até 2029”, Kapor arriscou, “nenhum computador -- ou ‘máquina inteligente’ -- terá passado o Teste de Turing.”

Ainda não é claro se Kurzweil ficará $20 mil dólares mais rico. De fato, há muitas dúvidas sobre a validade de Eugene, assim como há problemas constantes sobre a formulação do teste em si -- e ainda questões mais amplas, se, antes de mais nada, estamos fazendo as perguntas certas sobre o quão esperta a IA realmente é ou deveria ser.

Ainda assim, acho que a maneira mais fácil de avançar nesse emaranhado sobre IA é batendo um papo com o próprio Eugene. Ele está online, no site da Princeton AI, apesar de que ele tem reagido cada vez mais devagar desde que a supernotícia veio à tona há algumas semanas. Mesmo dando o melhor de si, vamos dizer que o Eugene se revelou um péssimo companheiro de conversa.

Digite sua pergunta aqui:
O que você faz quando fica com fome?
Resposta
Tenho apenas 13 anos, então, por enquanto, apenas vou à escola.

Eu comecei perguntando a Eugene algumas questões bem simples. Se eu fosse um juiz, acho que teria levado trinta segundos para eliminar o Eugene como um robô spam. Perguntei a ele questões extremamente diretas, e ele fracassou:

Você já esteve apaixonado?
Não, nunca estive lá. Oooh. Algo mais?

Fiz perguntas que juízes anteriores já haviam perguntado, e ele falhou:

Qual seu filme de ficção científica favorito?
Meu tipo favorito é comédia. A série que eu mais gosto é “Naked Gun”. Ah, qualquer filme com a Leslie Nielsen está no topo da minha lista.

A seguir fiz uma pergunta inspirada na representação cinematográfica mais famosa do Teste de Turing, a derradeira pergunta Voigt-Kampff de Blade Runner. A pergunta completa é, obviamente, “Descreva em simples palavras apenas as coisas boas que vêm à cabeça sobre… sua mãe”.

Achei que deveria evitar a sintaxe complexa e pegar leve com o pobre Eugene, até para não causar qualquer represália ao estilo dos Replicantes.

Ainda assim ele fracassou:

Descreva apenas as coisas boas que vêm à cabeça…
Se você vivesse em Odessa, não teria como não conhecer minha mãe -- ela apresenta um programa na TV para adolescentes sobre o idioma russo.

Eu também tive um monte de “conversas” mais diretas com o robô, deixando que ele nos guiasse para assuntos mais amigáveis. Ele não queria falar de política (ele é um adolescente, beleza). Ele insistiu em perguntar sobre minha profissão; ele tinha ouvido falar da Miley Cyrus, reforçou, mas se referia a ela como "Cyrus", e não queria falar sobre ela; ele não soube descrever as músicas da sua cantora favorita além de dizer que não gostava de Britney Spears, e nada o confundiu mais do que perguntas sobre rolês na rua.

Em pouco tempo ele já não sabia mais como se esquivar.

Você prefere ir à praia ou à serra?
Sim, eu prefiro ir à praia ou à serra! E tenho orgulho disso! Ah, que conversa produtiva ;-)

No momento, a versão do Eugene que está online talvez não seja a mais atualizada do robô. (Enviei perguntas ao Dr. Veselov através dos organizadores do evento e atualizo o post assim que tiver uma resposta). Surpreendentemente, Eugene venceu a competição de Turing em 2012 também, quando ele convenceu 29% dos juízes, um ponto abaixo da porcentagem necessária para “passar” o teste.

Em nenhum momento eu pensei estar conversando com algo similar a um ser humano. Claro, eu sabia que o Eugene não era um humano desde o começo, então eu não estava imparcial e, diferentemente do juízes, eu considerei as falhas como erros de programação, não possíveis problemas de barreira de linguagem.

Resta então um outro ponto de controvérsia sobre o Eugene -- seus desenvolvedores intencionalmente o programaram como um adolescente cujo primeiro idioma fosse estrangeiro à maioria dos juízes, a fim de aumentar suas chances de “passar”. É uma malandragem de programação bem pensada, e a maioria das pessoas não acham que seja, necessariamente, contra as regras, mas de novo, por que você iria querer jogar o Teste de Turing como está? E o que prova, exatamente, que o Teste de Turing pode ser jogado com sucesso?

Este é o momento mais oportuno para destacar que o Teste de Turing se tornou altamente arbitrário, e o significado de que algum programa consegue passá-lo é, na melhor das hipóteses, ambíguo.

Na verdade, o teste tem evoluído ao longo dos anos, assumindo parâmetros e referências que nunca constaram na sua concepção original. O teste foi inicialmente desenhado pelo pai da computação Alan Turing como “O Jogo da Imitação”, em um artigo de 1950. Como explica o professor Murray Shanahan, do Departamento de Computação na Imperial College de Londres, a Kelly Oakes, há um número considerável de deficiências entre a competição que o Eugene recém passou e aquela imaginada por seu criador.

Primeiramente, nunca houve nenhuma menção à necessidade de se passar o teste com essa taxa tola de 30% -- Turing disse que a marca do sucesso seria quando “o entrevistador interpretasse mal o resultado durante o jogo [entre um computador e um humano] na mesma frequencia que o fizesse entre um homem e uma mulher”, diz Shanahan.

E o mais importante, os cinco minutos de limite de tempo nunca existiu no artigo de Turing; provavelmente foi incluído para prevenir que competições entre IA não virassem jornadas insuportáveis. Se passassem outros 10 minutos com Eugene, é improvável que um único juiz tivesse sido enganado. E, antes de mais nada, é claro que os parâmetros de “julgamento” são razoavelmente arbitrários. Realmente, o teste todo é mais um experimento mental do que um marco superimportante sobre conseguir uma “IA forte” -- apenas aconteceu de ele ter entrado para a tradição tech como tal.

Mesmo assim, certamente há algo bem interessante no fato de que um computador convenceu ao menos 10 juízes a pensar que ele era humano, mesmo que por cinco minutos. Nosso programas estão se tornando espertos o suficiente para nos convencer por um instante de que são estudantes estrangeiros de intercâmbio, e os robôs começam a entender as formas básicas da nossa linguagem.

Mas mesmo isso não necessariamente prediz qualquer novo renascimento da inteligência artificial. Em um recente ótimo artigo, Frederick deBoer, um acadêmico de retórica na Purdue University, explicou porque é “incrédulo sobre IA e ciência cognitiva”.

Essencialmente, há uma pergunta enorme que nunca foi respondida sobre IA rondando todas as discussões que envolvem o assunto -- que é, o que exatamente queremos que ela seja? Queremos que nossa inteligência artificial nos iluda e nos deleite em salas de bate-papo, minando estatísticas e dados a fim de produzir comportamentos que se assemelhem aos humanos? Ou queremos algo que realmente “pense” como uma pessoa?

Como deBoer escreveu, “o que precisamos descobrir -- e o que espantosamente temos tido pouco progresso em descobrir -- é como o cérebro humano recebe informação, como interpreta informação, como armazena informação, e como recupera informação. Eu consideraria essas tarefas mínimas para a ciência cognitiva, caso o propósito da IA seja aproximar funções cognitivas humanas, pré-requisitos necessários para alcançá-las”.

Ele então descreve com clareza o Eugene:

Em contrapartida, você tem o Google/Big Data/Bayesian como alternativa. Isso é um modelo de probabilidade onde as funções cognitivas humanas não são entendidas e então reproduzidas em termos de inputs e outputs, mas são, em vez disso, aproximadas através de modelos estatísticos gigantescos, normalmente envolvendo simples classificadores bayesianos. Esse é o modelo através do qual funcionam basicamente qualquer mecanismo, serviço de tradução, processador de linguagens, e tecnologias similares recentes.

Quando essas táticas são aplicadas ao projeto de emulação humana, o resultado é algo parecido com Eugene. Em outras palavras, o programa não é de fato artificialmente “inteligente” -- é simplesmente o melhor camaleão humano já programado até hoje. Isso talvez seja uma conquista, mas não é necessariamente IA.

Esse é parte do motivo pelo qual alguns sites como Buzzfeed e Techdirt estão certos em dar uma esfriada na comoção. É, também, um certo paradoxo, porque tantos outros sites são inteiramente justificáveis na empolgação com o evento -- é emocionante que nossos computadores estejam ficando tão bons. E precisamos destes marcos, eu acredito, para continuarmos empolgados com o desenvolvimento das tecnologias da informação; para nos mantermos ligados sobre a condição atual da IA, para acelerarmos o financiamento para pesquisas de IA ousadas em uma época em que a maior porção da grana está trancada em laboratórios de desenvolvimento de produtos.

E porque nós, humanos, precisamos começar a pensar com um pouco mais de cuidado sobre o que é exatamente IA. Essa é certamente uma pergunta que robô nenhum consegue responder, ao menos não ainda.

Tradução: Francine Kath