あおぞら銀行 x neoAI オンプレミス型次世代AI基盤構築に向けて、 金融・行内特化LLMを開発

プロジェクトのベンチマークでの応答精度が大幅に向上

生成AI特化のスタートアップ株式会社neoAI（本社：東京都千代田区、代表取締役 CEO 千葉駿介、以下「neoAI」）および株式会社あおぞら銀行（本社：東京都千代田区、代表取締役社長兼最高経営責任者（CEO）：大見 秀人、以下「あおぞら銀行」）は、あおぞら銀行が進める次期AI基盤の構築プロジェクトにおいて、行内データで学習した大規模言語モデル（LLM）「あおぞらLLM」（仮称）を開発しました。今回の取り組みは金融業界におけるオープンソースLLMの活用において重要なステップであり、内部ベンチマークにおいて難易度の高い問いに対する応答精度が従来比130%となるなど、顕著なパフォーマンス改善を実現いたしました。

【本取り組みの背景】

金融業界におけるデジタルトランスフォーメーションの進展とともに、あおぞら銀行はセキュリティを最優先としつつ、業務効率の向上と顧客サービスの革新を目指してきました。一方、neoAIは独自のLLM追加学習およびRAG （Retrieval-Augmented Generation）技術を強みに、企業向けにカスタマイズ可能なAIソリューションを提供しております。neoAIとあおぞら銀行は2024年より行内オンプレミス環境にLLMを用いた次期AI基盤構築を目指すプロジェクトを進めてまいりました。

【今回の取り組み】

本プロジェクトでは難易度の高い問いを含む内部ベンチマークを作成し、そのベンチマークの精度向上のためにLLMへ継続事前学習を行いました。その結果、応答精度が従来比130％の高精度パフォーマンスとなるなど、顕著な改善を実現いたしました。

今回確認を行ったベンチマークは、法人・リテール業務の事務規定管理業務を想定したものです。あおぞら銀行における事務規定の管理業務の実際の応対シナリオに基づき、行内に関する深い知識を必要としながらRAGを正しく行う必要のある、難易度の高いベンチマークとなっています。

このベンチマークを指針としてLLMの精度向上を行った結果、回答の正確性・網羅性・再現性が飛躍的に向上いたしました。特に、行内で使われる固有の用語について、その意味や関連性を正確に理解し、適切に応答する能力が向上しました。

　主な精度向上の例

• 用語認識の精度向上：
  学習前：行内固有用語について、当該用語が指す内容を正確に認識できずに応答
  学習後：行内固有用語について、当該用語が指す内容を正確に認識し適切に応答

• 業務体系の包括的理解：
  学習前：当座貸越などの一部業務のみを個別の業務として認識して応答
  学習後：証書貸付・手形貸付を含む、行内融資業務全体の関連性と構造を体系的に把握して適切に応答

この開発における最大の特徴は、単に金融領域の知識を追加しているだけでなく、行員が実際に直面するタスクや運用フローを踏まえてLLMをチューニングしている点です。 LLMにドメイン知識を与えながら破滅的忘却を防ぐ学習手法などを用いることで、RAGを行う際のコンテキストがあおぞら銀行独自の情報であっても適切に応答するLLMの構築に成功いたしました。

今回の取り組みにより、継続事前学習によりあおぞら銀行に関する知識をLLMが獲得できることが実証されました。引き続きこの開発手法を応用することにより、事務規定管理業務の効率化のみならず、法人業務についても継続事前学習およびRAGによる効率化を支援していきます。

【オープンソースLLMの特長】

オープンソースLLMにはAPI型で提供されるLLMと比べて以下のような特徴があります。

• 高度なセキュリティ環境： オンプレミス構築により、クラウドを介したAPI提供型LLMでは達成不可能な厳格なセキュリティレベルを実現

• 幅広いLLMの精度向上方法： ファインチューニングに止まらない、幅広い学習手法を用いたLLMへの追加学習によりRAGのドメイン知識性能が大幅に向上。難易度の高い行内ベンチマークでは、学習前のモデルでは正しく応答できなかった設問にも正解

【各社コメント】

あおぞら銀行 アプリケーションマネジメント部 部長　五十嵐 毅氏

金融業界における情報の機密性を重視し、当行ではオンプレミス環境での生成AIの業務適用に取り組んでいます。

クラウド生成AIでは難しかったセキュリティの担保と行内情報の学習の両立を目指し、neoAIとの協業で業務適用への道筋が見えてきました。

本取り組みは銀行業界でも先進的かつ挑戦的な試みであり、より安全で質の高いサービス提供を進めてまいります。

neoAI 代表取締役 CEO 千葉駿介
あおぞら銀行のプロジェクトに参画し、生成AI基盤の新たな可能性を実証できたことに大変満足しております。オンプレミス環境での実装は、セキュリティと性能の両面で大きなメリットを提供しており、今後もさらなる技術革新を追求してまいります。

【今後の展望】

あおぞら銀行　 CIO副担当＜ビジネスプロセス改革担当＞　楠田佳嗣氏

あおぞら銀行では、今回のプロジェクト成果を礎に、より精度を高めるとともに、さらに高度な業務のプロセス最適化や自動化による営業効率の向上や内部事務の迅速化等を推進し、ミッションであります「新たな金融の付加価値を創造し、社会の発展に貢献」してまいります。また、本事例を同じ課題を持つ地域金融機関の皆様と共有することにより、地域金融機関のみなさまのお役に立てることを期待しております。

■neoAI会社概要

生成AIに特化したソリューションを提供する東京大学松尾研究室発のスタートアップ

会社名：株式会社neoAI

代表者：代表取締役 CEO 千葉駿介

所在地：〒101-0041 東京都千代田区神田須田町2-5 東京神田須田町ビル2階

URL：https://neoai.jp

■あおぞら銀行概要

会社名：株式会社あおぞら銀行

代表者：代表取締役社長兼最高経営責任者（CEO） 大見秀人

所在地：〒102-8660　東京都千代田区麹町6-1-1

URL：https://www.aozorabank.co.jp/