EVALUACIÓN DE MODELOS DE INTELIGENCIA ARTIFICIAL GENERATIVA EN LA ENSEÑANZA DE LA LÓGICA DE PROGRAMACIÓN: UN ANÁLISIS COMPARATIVO ENTRE LOS MODELOS GEMMA Y METALLAMA

Resumen

Este estudio tiene como objetivo comparar el rendimiento de los modelos de Inteligencia Artificial Generativa (IAG), específicamente Gemma y Meta LLaMA, en el contexto de la enseñanza de la lógica de programación. La investigación busca analizar qué modelo ofrece un mejor rendimiento considerando criterios como el tiempo de respuesta, la consistencia textual y la idoneidad pedagógica. Para ello, se utilizó un enfoque experimental, ejecutando los modelos en un entorno local mediante el software LM Studio, con acceso a sus API. Las métricas adoptadas para la evaluación incluyeron BLEU, ROUGE, METEOR y BERTScore, además de medir el tiempo de respuesta en milisegundos. Adicionalmente, se realizó una evaluación subjetiva con la participación de 30 estudiantes del curso de Sistemas de Información, quienes analizaron las respuestas generadas por los modelos según criterios de claridad, objetividad y utilidad pedagógica. Los resultados indican que Meta LLaMA tuvo un mejor rendimiento en términos de eficiencia computacional y similitud estructural de las respuestas, mientras que el modelo Gemma demostró mayor riqueza semántica y capacidad explicativa en contextos que requieren profundidad conceptual. La evaluación humana corroboró estos hallazgos, mostrando una preferencia por Meta LLaMA en preguntas objetivas y por Gemma en preguntas que requerían explicaciones detalladas. Se concluye que los modelos poseen características complementarias y se recomienda su uso combinado para mejorar el proceso de enseñanza-aprendizaje en lógica de programación.