A ASCENSÃO DOS GRANDES MODELOS DE LINGUAGEM: UM PANORAMA PARA INICIANTES - Mouzinho, Gustavo de Aquino; Okimoto, Leandro Youiti Silva; Camelo, Leonardo Yuto Suzuki; de Azevedo, Nádila da Silva; Bragança, Hendrio Luis de Souza; Fernandes, Rubens de Andrade; Seppe, Fabricio Ribeiro; Gomes, Raimundo Claúdio Souza; Cardoso, Fábio de Sousa (ARACÊ, 2025)
Os Grandes Modelos de Linguagem (LLMs) transformaram rapidamente o Processamento de Linguagem Natural, ao deslocar o campo de sistemas específicos para tarefas em direção a modelos de uso geral, capazes de seguir instruções e lidar com diversas tarefas com mínima adaptação. Esta pesquisa voltada para iniciantes traça a ascensão dos LLMs, delineando o percurso histórico desde os métodos estatísticos e as primeiras arquiteturas neurais até os modelos baseados em Transformer e o surgimento do aprendizado em contexto (in-context learning). Apresentamos os principais elementos que fazem os LLMs funcionarem — pré-treinamento em grandes corpora, fine-tuning e alinhamento opcionais, e estratégias de decodificação para geração — enfatizando como a escala e o mecanismo de autoatenção permitem ampla generalização. Em essência, este artigo oferece uma narrativa concisa e acessível sobre a era dos LLMs, condensando o conjunto mínimo de conceitos e marcos necessários para construir uma compreensão intuitiva sobre como os modelos modernos são treinados e utilizados.