Reduzindo o custo dos serviços governamentais locais impulsionados por IA

A Onetera faz uma parceria com a Lenovo para disponibilizar suas soluções de IA para o governo local em infraestrutura própria, reduzindo drasticamente o custo de execução de cargas de trabalho com uso intensivo de tokens.

Ansiosa para permitir que seus clientes municipais se beneficiem da IA em seus próprios ambientes protegidos e para reduzir os custos de processamento de cargas de trabalho de IA, a Onetera trabalhou com o Lenovo AI Center of Excellence (CoE) para validar o ponto de equilíbrio acelerado e os aspectos econômicos favoráveis de token da infraestrutura local.

O desafio

• •       Os governos locais estão sob pressão constante para fazer mais com menos
• •       Grandes volumes de tokens e altos preços de APIs em nuvem elevam o custo da IA agêntica
• •       A soberania de dados é outra preocupação importante

A solução

• •       Foram implantados LLMs em um servidor Lenovo ThinkSystem SR675 V3
• •       Cada estágio do pipeline foi mantido dentro dos limites da infraestrutura
• •       Durante o piloto de 40 dias, apenas uma das oito GPUs do servidor foi usada ativamente

O resultado

• •       Economia de custos de até 98% para cargas de trabalho que fazem uso pesado de tokens
• •       O custo mais baixo torna a IA agêntica mais acessível aos governos locais
• •       Garante o controle completo sobre onde os dados são armazenados e para onde os dados fluem