Para entender por que, é útil pensar sobre o que sistemas como o GPT-3 fazem. Eles não aprendem sobre o mundo – eles aprendem sobre texto e como as pessoas usam palavras em relação a outras palavras. O que ele faz é algo como um ato massivo de recortar e colar, costurando variações no texto que viu, em vez de cavar profundamente para os conceitos que fundamentam esses textos.
No exemplo do suco de cranberry, o GPT-3 continua com a frase “Você está morto” porque essa frase (ou algo parecido) geralmente segue frases como “… então você não pode cheirar nada. Você está com muita sede. Então você bebe. ” Um agente genuinamente inteligente faria algo totalmente diferente: tirar inferências sobre a segurança potencial de misturar suco de cranberry com suco de uva.
Tudo o que o GPT-3 realmente tem é um entendimento de visão de túnel de como as palavras se relacionam umas com as outras; não infere, por todas essas palavras, nada sobre o mundo florescente e vibrante. Não infere que o suco de uva é uma bebida (embora possa encontrar correlações de palavras consistentes com isso); nem infere nada sobre as normas sociais que possam impedir as pessoas de usar trajes de banho em tribunais. Ele aprende correlações entre palavras e nada mais. O sonho do empirista é adquirir uma compreensão rica do mundo a partir dos dados sensoriais, mas o GPT-3 nunca faz isso, mesmo com meio terabyte de dados de entrada.
Enquanto estávamos montando este ensaio, nosso colega Summers-Stay, que é bom com metáforas, escreveu para um de nós, dizendo o seguinte: “GPT é estranho porque não ‘se importa’ em obter a resposta certa para uma pergunta, você é mais como um ator de improvisação que é totalmente dedicado ao seu ofício, nunca quebra o personagem e nunca saiu de casa, mas apenas lê sobre o mundo nos livros. Como tal ator, quando não sabe de algo, vai apenas fingir. Você não confiaria em um ator de improvisação fazendo o papel de um médico para lhe dar conselhos médicos. “