Esta pesquisa de IA mergulha nas limitações e capacidades dos modelos de linguagem de grandes transformadores (LLMs), empírica e teoricamente, em tarefas de composição

O ChatGPT está em alta e milhões de pessoas o usam todos os dias. Com suas incríveis capacidades de imitar humanos, como responder a perguntas, gerar conteúdo exclusivo e criativo, resumir dados textuais maciços, completar código e desenvolver assistentes virtuais altamente úteis, o ChatGPT está facilitando nossas vidas. Desenvolvido pela OpenAI, o ChatGPT é baseado no GPT 3.5 (Generative Pre-Trained Transformer) e na arquitetura do transformador do GPT 4. O GPT 4, a última versão dos modelos de linguagem lançados pela OpenAI, é multimodal por natureza, ou seja, recebe entrada na forma de texto e imagens, ao contrário das versões anteriores. Até mesmo outros Large Language Models (LLMs) como PaLM, LLaMA e BERT estão sendo usados ​​em aplicações de vários domínios envolvendo saúde, comércio eletrônico, finanças, educação, etc.

Uma equipe de pesquisadores destacou a diferença entre o desempenho impressionante de LLMs como GPT em tarefas complexas e suas dificuldades com tarefas simples em um trabalho de pesquisa lançado recentemente. Mergulhando nas limitações e capacidades dos Transformer LLMs, a equipe realizou experimentos em três tarefas representativas de composição: multiplicação de vários dígitos, quebra-cabeças de grade lógica e um problema clássico de programação dinâmica. Essas tarefas envolvem a divisão de problemas em etapas menores e a combinação dessas etapas para produzir uma solução exata.

Com o objetivo de estudar os limites dos Transformers na resolução de tarefas composicionais que requerem raciocínio em várias etapas, os autores propuseram duas hipóteses. A primeira é que os Transformers realizam tarefas linearizando o raciocínio de várias etapas em correspondência de caminho, contando assim com correspondência de padrões e aprendizado de atalho, em vez de realmente compreender e implementar as regras computacionais subjacentes necessárias para desenvolver soluções adequadas. Essa abordagem permite previsões rápidas e precisas em padrões semelhantes durante o treinamento, mas não consegue generalizar para exemplos complexos incomuns. A segunda hipótese afirma que os Transformers podem ter limitações inerentes ao tentar resolver tarefas de composição de alta complexidade com padrões únicos. Erros computacionais iniciais podem se espalhar e resultar em erros de composição graves em etapas posteriores, impedindo que os modelos cheguem à solução correta.

Os autores formularam as tarefas de composição como gráficos de computação para investigar as duas hipóteses. Esses gráficos decompõem o processo de resolução de problemas em etapas funcionais submodulares menores e mais gerenciáveis, permitindo medidas estruturadas da complexidade do problema e verbalização das etapas de computação como sequências de entrada para modelos de linguagem. Eles até usam o ganho de informações para fazer previsões sobre os padrões que os modelos provavelmente aprenderiam com base na distribuição de tarefas subjacentes sem executar cálculos completos no gráfico.

Com base nas descobertas empíricas, os autores propuseram que os Transformers lidam com desafios de composição reduzindo o raciocínio de várias etapas a uma correspondência de subgrafos linearizada. Eles forneceram argumentos teóricos baseados em problemas abstratos de raciocínio de várias etapas, que destacam que, à medida que a complexidade da tarefa aumenta, o desempenho dos Transformers se deteriora rapidamente. Isso mostra que os modelos podem já estar limitados em sua capacidade de lidar com problemas composicionais de grande complexidade.

Em conclusão, os resultados empíricos e teóricos implicam que, em vez de uma compreensão completa dos processos de pensamento subjacentes, o desempenho dos Transformers é impulsionado principalmente pela correspondência de padrões e correspondência de subgrafos, o que também apóia a ideia de que os Transformers achariam difícil realizar tarefas cada vez mais difíceis. .

Confira aPapel.Não se esqueça de participarnosso SubReddit de 22k+ ML,Canal do Discord, eNoticiário por e-mail , onde compartilhamos as últimas notícias de pesquisa de IA, projetos interessantes de IA e muito mais. Se você tiver alguma dúvida sobre o artigo acima ou se esquecemos de algo, sinta-se à vontade para nos enviar um e-mail para