Un equipo de investigadores de la Universidad de Granada (UGR) desarrolló una innovadora metodología para reducir el tamaño y hacer más accesibles los modelos de lenguaje basados en BERT, un sistema que utiliza inteligencia artificial (IA) y aprendizaje automático para procesar el lenguaje natural.
Según explicó la UGR, el enfoque diseñado en el trabajo se denomina ‘Persistent BERT Compression and Explainability (PBCE)’ y emplea homología persistente para identificar y eliminar neuronas redundantes, logrando una reducción del tamaño del modelo de hasta un 47% en BERT Base y un 42% en BERT Large, sin afectar significativamente la precisión en las tareas de procesamiento del lenguaje natural.
IMPACTO DE BERT Y EL AVANCE DE LA UGR
BERT se utiliza, por ejemplo, en buscadores de internet como Google, donde permite clasificar resultados, comprender mejor las consultas de los usuarios y ofrecer respuestas más precisas.
Los grandes modelos de lenguaje (LLM), como BERT, revolucionaron el campo de la IA, pero su alto consumo de recursos limita su uso en dispositivos con menor capacidad, como móviles. Además, estos modelos funcionan como cajas negras, lo que dificulta su explicabilidad e interpretación.
Por ello, los investigadores de la UGR dieron un paso hacia la ‘IA verde’, mejorando la eficiencia de los modelos sin aumentar su huella de carbono.
Este método no solo reduce el tamaño del modelo, sino que también mejora la interpretabilidad del comportamiento de las neuronas, acercándonos a redes neuronales más explicables, detalló Luis Balderas, investigador de la UGR y del Instituto Andaluz Interuniversitario en Ciencia de Datos e Inteligencia Computacional (Instituto DaSCI).
Redacción · Servimedia
Fotografía · UGR
