A Nvidia apresentou nesta terça-feira (11) o Nemotron 3.5 Lightning, um modelo aberto de inteligência artificial desenvolvido para empresas que buscam diminuir gastos com processamento de tokens sem abrir mão de recursos avançados.
A novidade foi anunciada pela companhia em meio à disputa entre modelos de IA abertos e fechados. Kari Briski, vice-presidente de software de IA generativa para empresas da Nvidia, explicou a estratégia durante o The Wall Street Journal Leadership Institute.
Além do novo modelo, a empresa lançou o Nemo Switchyard, uma biblioteca de código aberto capaz de direcionar diferentes tarefas de agentes de IA para modelos distintos. A proposta é equilibrar qualidade, velocidade e custo, além de reduzir a exposição de informações proprietárias.
Nvidia aposta em modelos menores e roteamento para controlar despesas
O Nemotron 3.5 Lightning foi concebido em uma estrutura mais compacta, mas preserva conhecimentos presentes em modelos considerados mais potentes. Essa característica permite que empresas utilizem uma alternativa menos custosa para determinadas aplicações.
De acordo com Briski, a lógica econômica está em evitar o emprego de modelos maiores em tarefas rotineiras. O Switchyard complementa essa estratégia ao decidir qual modelo deve assumir cada atividade, levando em conta fatores como qualidade da resposta, tempo de processamento e preço.
A Nvidia desenvolveu inicialmente o sistema de roteamento para atender a uma necessidade própria.
