Groq lanza un chip de IA más potente, ¿Nvidia en peligro?

4/5 - (1 vote)

Un nuevo chip de inteligencia artificial lanzado por Groq está agitando actualmente a la comunidad de IA. Con un rendimiento excepcional, esta innovación podría revolucionar el sector hasta ahora dominado por Nvidia.

Un acelerador de IA con una nueva arquitectura

Los chips son los elementos clave que permiten que funcionen los sistemas de inteligencia artificial generativa. Este mercado es actualmente dominado por Nvidiaque suministra la mayoría de GPU (Graphics Processing Unit) utilizadas por las empresas del sector.

Sin embargo, la llegada de groq podría cambiar la situación. Aclaremos desde el principio que esta tecnología no tiene conexión con la IA Grok de Elon Musk o el juguete espacial Grok de Grimes. Es una empresa de semiconductores dirigida por Jonathan Ross. Fue fundada por ex desarrolladores de Google en 2016.

La startup presentó un chip de IA revolucionario el 20 de febrero: un LPU o Unidad de Procesamiento del Lenguaje. Este chip adopta una nueva arquitectura que permite acelerar significativamente la inferencia y la respuesta Grandes modelos de lenguaje (LLM).

13 veces más rápido que la GPU Nvidia

Groq no es un LLM como Gemini o GPT-4. Tampoco es un chatbot como ChatGPT de OpenAI. Esta LPU actúa más bien como “motor de inferencia” lo que aumenta el rendimiento de estas plataformas impulsadas por IA al procesar solicitudes.

Para conocer sus capacidades se realizaron pruebas de referencia y se presentan los resultados. simplemente impresionante. De hecho, el chip de Groq superó a la GPU Nvidia utilizada por Microsoft Azure Cloud. Si este último genera 18 tokens por segundo, en Groq esto aumenta a 247 tokens.

Con tal salto en capacidades, las plataformas de IA como ChatGPT o Midjourney podrían corre 13 veces más rápido. Jonathan Ross subraya la importancia de este progreso “ La velocidad de inferencia de los LLM permite a los desarrolladores convertir sus ideas en negocios, lo cual es esencial para el ecosistema comercial de IA. “.

A finales de diciembre de 2023, el vídeo de presentación de Gemini de Google fue criticado por considerar que sus capacidades de procesamiento en tiempo real eran falsificadas. Dado su rendimiento, la LPU de Groq bien podría hacer que esto finalmente sea una realidad.

Groq: ¿demasiado bueno para ser verdad?

Las impresionantes capacidades del chip de Groq podrían despertar desconfianza. Sin embargo, es una realidad. Para garantizar esto, Groq invita a los desarrolladores a probar ellos mismos esta tecnología en su sitio grog.com. Serán capaces de interactuar con diferentes modelos de inteligencia artificial como Mistral, Llama 2 o Falcon. Por supuesto, estas plataformas explotan la potencia informática de Groq.

A diferencia de las respuestas generadas progresivamente por ChatGPT y otras IA, las de Groq se muestran todos a la vez. ¿Esta innovación presagia el declive de Nvidia? En Twitter, la mayoría de los tweets asocian a Groq con Nvidia, considerándola un competidor formidable para el gigante de las GPU. Pero Groq se encuentra todavía en el comienzo de su historia. El futuro dirá si podrá destronar al líder histórico del mercado de chips de IA.