数学推論とマルチタスクに特化した超小型LLM「QwQ-32B-Distill-Qwen-1.5B-Alpha」をオープンモデルで公開

～バークレー大発「DeepScaler」、アリババクラウド「QwQ-32B」から着想を得て小型モデルのさらなる特化性能向上に成功～

Axcxept株式会社

2025年4月10日 11時01分

Axcxept株式会社は本日、Multitask 性能と数学推論性能を、わずか2日間の強化学習で、飽和状態だった性能をさらに向上させた超小型言語モデル（LLM）『QwQ-32B-Distill-Qwen-1.5B-Alpha』をオープンソースで公開しました。本モデルは、deepseek-aiの長考モデル、DeepSeek-R1、米国バークレー大学発の研究DeepScalerプロジェクトおよび、アリババクラウドのQwQ-32Bからインスピレーションを得ており、コストを抑えつつ高い推論性能を実現しています。

Axcxept株式会社はこれまで、日本語特化型および金融・セキュリティ分野に特化したLLM開発を進め、オープンモデルの公開及び、多くの企業・研究機関とともに、研究支援提供してきました。このたび新たに開発した『QwQ-32B-Distill-Qwen-1.5B-Alpha』は、長考型の最先端LLM『DeepSeek』の知見を取り入れ、バークレー大学の高性能モデル『DeepScaler』、およびアリババクラウドの大規模推論モデル『QwQ-32B』から着想を得つつ、1.5Bという超小型サイズに蒸留した革新的なモデルです。これらは、素晴らしい先行のベースモデルや蒸留元モデル、先行研究の存在があり、そのうえで、弊社の小型かつ、低コストで、性能向上を実現するというアイデアを、実現することに成功いたしました。

モデルベンチマーク結果（性能比較表）

■ 小型モデルでありながら、大規模モデルに匹敵する高性能を実現本モデルは、Multitask 性能ベンチマーク「MMLU」において47.18というスコアを記録、さらに数学競技問題であるAMC 2023では75%の正解率を達成。小型モデルでありながら、従来の大規模モデルに匹敵する推論性能を示しています。

また、H200 GPUを336時間（コスト約1,341ドル）という極めて低いリソースコストでトレーニングされており、企業や教育機関などでも実用化が容易となっています。

オープンソース公開によるAI技術の普及を目指す

弊社は、こうした低コストかつ高性能な小型モデルが、より多くの企業・研究機関における先進的なAI開発の促進につながると考えており、本モデルをHugging Face上で無償公開しています。どなたでも自由にダウンロードして商用利用することが可能です。

▼モデル公開先（Hugging Face）

AXCXEPT/QwQ-32B-Distill-Qwen-1.5B-Alpha

現状は、数学＋MMLUの両立した性能向上を短期間で実現、という程度にとどまっていますが、今後は世界中のあらゆる小型モデルに対するニーズを、北海道発の企業として実現し、日本を北海道からも盛り上げていけるよう邁進してまいります。

また、この成果に対する、データセットを公開予定です。

弊社の今後について

弊社は現在、多数の大手から中小企業様の特化型モデルの作成から、それを含めた社内AIソリューションのコンサルティングから制作まで幅広く企業様のご支援をさせていただいております。

また、この活動は、国内だけにとどまらず、最近では、香港で開催された、JUMPSTARTERにて、弊社のLLM研究を含めた出展を行い、より多くの国内外の企業様からの信頼を確保し、ワールドワイドに当社の技術を広げ、LLMの研究開発から、深いクラウドに対する知識、多数のAIソリューションの開発実績をもとに、北海道から日本全体をAIに強い国にする一つの糧となれるよう、邁進してまいります。