Acaba de nacer una IA de código abierto que domina 101 idiomas

4/5 - (1 vote)

La inteligencia artificial de código abierto está experimentando actualmente un fuerte crecimiento. Y las empresas de IA siguen enriqueciendo este recurso con innovaciones. Cohere, una startup canadiense, es la última en contribuir. Presenta Aya, un modelo de lenguaje multilingüe totalmente abierto.

Aya, un gran modelo de lenguaje para el mundo entero

Este es un avance significativo en el campo de la IA. Por primera vez, la comunidad de código abierto tiene a su disposición una LLM masivamente multilingüe. Hasta ahora, los mejores modelos de acceso abierto que existen no cubren más de 50 idiomas. Por ejemplo, el modelo Bloom de código abierto solo admite 46 idiomas.

Aya, esta nueva inteligencia artificial generativa, puede generar textos en 101 idiomas diferentes. Por tanto, proporciona cobertura para 50 idiomas adicionales que anteriormente no eran compatibles. Ahora se incluyen idiomas menos comunes como el uzbeko y el somalí. La empresa destaca que “ Muchos idiomas de esta colección anteriormente no tenían representación en conjuntos de datos de estilo de instrucción.. »

Lanzado en enero de 2023, este proyecto es el resultado de una colaboración internacional de 3.000 investigadores Distribuido en 119 países. Aya ya está disponible en la plataforma Hugging Face.

Un modelo de alto rendimiento que supera a sus homólogos

Los investigadores perfeccionaron el Aya LLM en una gran base de datos multilingüe. Posteriormente, ellos llevado a cabo pruebas comparativas para evaluar el rendimiento de este nuevo modelo de lenguaje de código abierto.

EL los resultados son concluyentes : esta inteligencia artificial de Cohere genera respuestas de mejor calidad que otros modelos como mTOx y Bloom en el 77% de los casos, según los comentaristas expertos.

Una verdadera mina de oro para entrenar IA multilingüe

Además del gran modelo de lenguaje Aya, los investigadores publicaron el enorme conjunto de datos utilizado para el proyecto. Esto permitirá a los desarrolladores crear modelos más fácilmente Inteligencia artificial multilingüe. De hecho, el falta de recursos Hasta ahora ha sido un gran obstáculo para entrenar IA en idiomas menos comunes. Pero este problema parece estar resuelto. Ahora, los desarrolladores pueden elegir de este conjunto de datos para qué idiomas quieren iterar. la creación y personalización de su IA.

Según Aleksa Gordic, ex investigador de IA en DeepMind, el rendimiento de los LLM depende en gran medida de la cantidad y calidad de los datos de entrenamiento que se les proporcionan. Para permitir el surgimiento de modelos eficientes en otros idiomas, son esenciales grandes bases de datos multilingües. Elogió la iniciativa de Cohere de reunir un conjunto de datos tan masivo que abarca más de cien idiomas.

Éste también es el más completo existente hasta la fecha, con 513 millones de anotaciones. Por lo tanto constituye una mina de oro para la comunidad de investigación para el entrenamiento de modelos de IA multilingües. Según Cohere, estos datos fuera del inglés son raros y valiosos. Aya allana el camino para la creación de plantillas multilingües de calidad en culturas de todo el mundo.