Falcon: Novo modelo de linguagem open-source supera LLaMA

Equipe do Technology Innovation Institute (TII) desenvolve modelo de linguagem de fonte aberta chamado Falcon, concorrente da LLaMA

A equipe do Technology Innovation Institute (TII), em Abu Dhabi, nos Emirados Árabes Unidos, desenvolveu um novo modelo de linguagem de fonte aberta que pode ser um forte concorrente da LLaMA. Chamado Falcon, esse modelo oferece melhor desempenho e é considerado o mais poderoso até então, com três variantes: 1B, 7B e 40B.

FalconLM no topo do leaderboard Hugging Face OpenLLM

O FalconLM já está no topo do leaderboard Hugging Face OpenLLM com as duas variantes Falcon 40B Instruct e Falcon 40B enquanto a LLaMA aparece na terceira posição. O Hugging Face avalia os modelos em relação a quatro benchmarks populares — AI2 Reasoning Challenge, HellaSwag, MMLU e TruthfulQA.

Treinamento do modelo Falcon 40B

O maior diferencial no treinamento do modelo Falcon 40B foi uma enorme base de dados da web refinada com filtros de qualidade e relevância para fornecer um conteúdo de alta qualidade. Uma vez que o treinamento de modelos GPT é sensível à qualidade dos dados utilizados na sua construção. É importante ressaltar que o TII disponibilizou a Refined-Web Dataset que provou-se muito efetiva e possui capacidade multilíngue em idiomas como inglês, espanhol, alemão e francês.

Licenciamento Apache e margem vasta para melhorias

Outra vantagem do Falcon é o seu licenciamento — Apache — permitindo a sua utilização comercial. Ainda há uma margem vasta para melhorias comparando ao GPT-4 que apresenta camadas fechadas impedindo pesquisas acerca do seu funcionamento.

Modelos open source permitem maior colaboração, transparência e inovação

O uso de modelos open source permite maior colaboração, transparência e inovação no campo da inteligência artificial. Além disso, permite que pesquisadores de diversos lugares do mundo acessem um modelo de alto desempenho sem precisar investir em soluções proprietárias e recursos computacionais caros. Com a LLaMA disponível para todos, o campo da inteligência artificial se tornou mais transparente e menos suscetível à potencial viés. Ainda existem vários outros modelos grandes de linguagem de código aberto disponíveis para a comunidade científica melhorar cada vez mais os seus métodos e descobertas.

Com informações do site Analytics India Magazine.