Reducción del costo de los servicios gubernamentales locales impulsados por IA

Onetera se asocia con Lenovo para hacer que sus soluciones de IA del gobierno local estén disponibles localmente, lo que reduce drásticamente el costo de ejecutar cargas de trabajo con intenso uso de tokens.

Con el deseo de permitir que sus clientes municipales se beneficiaran de la IA en sus propios entornos protegidos y para reducir los costos de procesamiento de cargas de trabajo de IA, Onetera trabajó con el Centro de Excelencia de IA (CoE) de Lenovo para validar el punto de equilibrio acelerado y la economía de tokens favorable de la infraestructura local.

El desafío

• •       Los gobiernos locales están bajo presión constante para hacer más con menos
• •       Los grandes volúmenes de tokens y los altos precios de API de nube aumentan el costo de la IA agéntica
• •       La soberanía de los datos es otra preocupación clave

La solución

• •       LLM implementados en un servidor Lenovo ThinkSystem SR675 V3
• •       Cada etapa de la canalización se mantuvo dentro del límite de la infraestructura
• •       Durante el piloto de 40 días, solo se usó activamente una de las ocho GPU del servidor

El resultado

• •       Ahorros de costos de hasta el 98 % para cargas de trabajo con muchos tokens
• •       El costo más bajo hace que la IA agéntica sea más accesible para los gobiernos locales
• •       Garantiza el control completo sobre dónde se almacenan y hacia dónde fluyen los datos