Un paso más cerca de un ChatGPT en euskera

Hace poco más de un año, el centro Hitz -el Centro Vasco de Tecnología de la Lengua de la UPV/EHU- presentó Latxa, el primer gran modelo de lenguaje en la lengua vasca. «Es el paso previo hacia un Chat GPT en euskera, hacia ello vamos«, decía entonces Eneko Agirre, director de la institución. Desde entonces, su equipo ha seguido trabajando para mejorar la herramienta hasta el punto de que ya puede mantener conversaciones en euskera.

El punto de partida es Llama, el modelo lingüístico multilingüe y abierto desarrollado por Meta (la matriz de Facebook). «Aunque es uno de los modelos abiertos más potentes, su rendimiento en euskera es pobre, por lo que el objetivo es construir un 'chatbot' que funcione en euskera. El camino habitual sería tomar Llama, alimentarlo con textos en euskera, y luego con ejemplos de uso en euskera, así como ejemplos para evitar usos tóxicos. Desafortunadamente, para construir un 'chatbot' de alta calidad se necesitan muchos ejemplos de uso en euskera, lo que requiere una gran cantidad de trabajo manual y costoso que hasta ahora solo las grandes empresas han podido asumir», explica Agirre.

Para evitar esta tediosa tarea, apostaron por un método «innovador y eficiente» que incluyó una especie de evaluación en la que los participantes podían plantear cualquier pregunta o petición a diferentes 'chatbots' y valorar qué respuesta les resultaba más convincente. «Entre los modelos probados había diferentes variantes de Latxa, y gracias a los votos se ha demostrado que el método desarrollado por Hitz es el mejor para construir chatbots en euskera y que Latxa 70B supera con creces al Latxa 8B, a pesar de su menor tamaño. De hecho, la variante más grande de Latxa está muy cerca del rendimiento de los mejores modelos cerrados, como GPT-4o de OpenAI o Claude de Anthropic».

«Aunque este trabajo supone un hito, todavía queda mucho por hacer para mejorar y expandir Latxa. Los 'chatbots' siguen mejorando continuamente y se están utilizando en todas partes. Incluso Google está en proceso de convertir su buscador en un 'chatbot'«, remarca el especialista vasco.