AVALIAÇÃO DE MODELOS DE INTELIGÊNCIA ARTIFICIAL GENERATIVA NO ENSINO DE LÓGICA DE PROGRAMAÇÃO: UMA ANÁLISE COMPARATIVA ENTRE OS MODELOS GEMMA E META LLAMA

Resumo

Este estudo tem como objetivo comparar o desempenho de modelos de Inteligência Artificial Generativa (IAG), especificamente o Gemma e o Meta LLaMA, no contexto do ensino de lógica de programação. A pesquisa busca analisar qual modelo apresenta melhor desempenho considerando critérios como tempo de resposta, consistência textual e adequação pedagógica. Para isso, foi utilizada uma abordagem experimental com a execução dos modelos em ambiente local por meio do software LM Studio, permitindo o acesso às suas APIs. As métricas adotadas para avaliação incluíram BLEU, ROUGE, METEOR e BERTScore, além da mensuração do tempo de resposta em milissegundos. Adicionalmente, foi realizada uma avaliação subjetiva com a participação de 30 estudantes do curso de Sistemas de Informação, que analisaram respostas geradas pelos modelos com base em critérios de clareza, objetividade e utilidade pedagógica. Os resultados indicam que o Meta LLaMA apresentou melhor desempenho em termos de eficiência computacional e similaridade estrutural das respostas, enquanto o modelo Gemma demonstrou maior riqueza semântica e capacidade explicativa em contextos que exigem aprofundamento conceitual. A avaliação humana corroborou esses achados, evidenciando preferência pelo Meta LLaMA em questões objetivas e pelo Gemma em perguntas que demandam explicações detalhadas. Conclui-se que os modelos possuem características complementares, sendo recomendada a utilização combinada para potencializar o processo de ensino-aprendizagem em lógica de programação.