AIを活用した地方自治体のサービスのコストを大幅に削減

Oneteraは、Lenovoと提携して、地方自治体のAIソリューションをオンプレミスで利用できるようにし、トークンを多く消費するワークロードの実行にかかるコストを劇的に削減しました。

Oneteraは、地方自治体のお客様が保護された環境でAIのメリットを活かし、AIワークロードの処理にかかるコストを削減できるようにする取り組みに熱心で、Lenovo AI Center of Excellence（CoE）と連携して、オンプレミスインフラストラクチャーの損益分岐点の早期達成および良好なトークン・エコノミクスについて検証しました。

課題

• •       地方自治体は、少ない労力でより多くを達成しなければならないというプレッシャーに常にさらされている
• •       大量のトークンを消費することと、クラウドAPIの料金が高いことがエージェント型AIのコストを押し上げている
• •       データ主権の問題が、もう1つの大きな懸念材料である

解決策

• •       Lenovo ThinkSystem SR675 V3サーバーにLLMを導入
• •       パイプラインの各段階は、インフラストラクチャーの境界内に留めるようにする
• •       40日間のパイロット運用中は、サーバーに搭載された8つのGPUのうち1つだけをアクティブにして使用

成果

• •       トークンの消費が多いワークロードに対して最大で98%のコスト削減を達成
• •       コストの低下により、地方自治体がエージェント型AIを利用しやすくなる
• •       データの保存場所とデータの流れを完全に制御できるようになる