A Nvidia colocou o rack Groq 3 LPX em produção e pretende deixá-lo operacional ainda este ano na neocloud Nebius. A tecnologia chegou à empresa após a compra de ativos da Groq por US$ 20 bilhões (cerca de R$ 103 bilhões), a maior aquisição já realizada pela Nvidia.
O foco está na inferência de baixa latência, capaz de reduzir o intervalo entre o pedido do usuário e a resposta de um sistema de IA. A característica é especialmente relevante em aplicações de programação, nas quais atrasos podem ser percebidos rapidamente.
Groq ganha espaço nos data centers
Na Nebius, os racks Groq 3 LPX serão instalados junto dos processadores Vera e das GPUs Rubin. Dion Harris, diretor sênior da Nvidia, afirmou que os equipamentos estarão disponíveis ainda este ano.
A arquitetura da Groq coloca 500 MB de memória SRAM de alta velocidade diretamente no chip. Com isso, a tecnologia busca diminuir gargalos provocados pelo acesso à memória durante a execução dos modelos.
Cada rack reúne 256 chips Groq 3. De acordo com a Nvidia, o sistema chega a 3.400 tokens por segundo, resultado baseado em um benchmark da Artificial Analysis.
Os principais números do Groq 3 LPX:
Cada rack Groq 3 LPX reúne 256 chips Groq 3;
O sistema chega a 3.400 tokens por segundo;
A arquitetura conta com 500 MB de SRAM integrada ao chip;
A tecnologia prioriza a inferência de baixa latência;
A Nvidia pagou US$ 20 bilhões pelos ativos da Groq.
