**Microsoft e TikTok impulsionam inteligência artificial generativa com sistemas de memória**
A Microsoft e o TikTok estão utilizando sistemas de memória para aprimorar a capacidade da inteligência artificial generativa. O objetivo é permitir que os modelos de linguagem processem sequências mais longas de dados e contextualizem melhor as respostas.
A ByteDance, dona do TikTok, desenvolveu um sistema de memória autogerenciada que pode acessar um banco de dados com centenas de diálogos e milhares de caracteres. Isso amplia as habilidades do ChatGPT e possibilita responder perguntas sobre eventos passados em qualquer idioma.
As limitações dos programas como o ChatGPT são a incapacidade de processar informações longas o suficiente para criar um contexto adequado. O GPT-3 da OpenAI, por exemplo, aceita apenas até 2.000 tokens como entrada, o que impede a utilização de textos mais extensos, como artigos ou romances.
Uma possível solução foi proposta por pesquisadores da Universidade da Califórnia em Santa Barbara e da Microsoft. Eles desenvolveram um modelo chamado “Language Models Augmented with Long-Term Memory” (LongMem), que utiliza duas redes neurais em conjunto. Uma rede armazena informações na memória enquanto analisa a entrada, e outra rede compara o novo prompt com o conteúdo da memória para encontrar correspondências relevantes.
Testes realizados compararam o LongMem com outras abordagens existentes, como o Memorizing Transformer do Google e o GPT-2 da OpenAI. O LongMem obteve resultados significativamente superiores em tarefas que envolviam compreensão e resumo de textos longos, alcançando uma pontuação de 40,5%, enquanto o GPT-3 acertou apenas 28% das respostas.
Esses avanços foram possíveis graças às tecnologias de memória controlada pelo usuário da Microsoft e de memória autogerenciada da ByteDance. Essas abordagens permitem que os modelos de linguagem processem sequências mais longas de dados e contextualizem melhor as respostas.
É importante destacar que esses avanços foram alcançados com um número consideravelmente menor de parâmetros neurais em comparação com o GPT-3. Embora essas soluções ainda estejam em desenvolvimento e precisem ser refinadas, elas mostram um grande potencial para melhorar significativamente o desempenho dos modelos de linguagem ao lidar com informações contextuais mais extensas.
A criação desses sistemas de memória organizados é fundamental para ampliar as capacidades e a precisão dos modelos de linguagem na resposta a perguntas sobre eventos passados. Essa evolução traz benefícios não só para aplicativos como o ChatGPT ou TikTok, mas também para várias outras áreas que dependem da inteligência artificial generativa, como assistentes virtuais, tradutores automáticos e análise de dados.
Resumo da Notícia |
---|
O sistema de memória autogerenciada da ByteDance permite ampliar as habilidades do ChatGPT para responder perguntas sobre eventos passados em qualquer idioma. |
O LongMem, modelo desenvolvido pela Universidade da Califórnia em Santa Barbara e Microsoft, obteve melhores resultados do que outras abordagens existentes em tarefas que envolviam a compreensão e resumo de textos longos. |
Tecnologias como a memória controlada pelo usuário da Microsoft e o sistema de memória autogerenciada da ByteDance permitem que os modelos de linguagem processem sequências mais longas de dados para contextualizar melhor as próximas respostas. |
A criação desses sistemas de memória organizados tem o potencial de melhorar significativamente o desempenho dos modelos de linguagem ao lidar com informações contextuais mais extensas, beneficiando aplicativos como o ChatGPT, TikTok e outras áreas que dependem da inteligência artificial gerativa. |
Com informações do site ZDNet.