国際会議「AAAI-25」内PSSワークショップが、カナメプロジェクトCEO・遠藤太一郎の論文を最優秀論文賞に選出

人類とAIの共生のあり方を考える研究分野（PSS）にて、AIの「視座」を高めるための研究が高評価

株式会社カナメプロジェクト

2025年4月22日 10時00分

株式会社カナメプロジェクト（住所：愛知県名古屋市中区丸の内1丁目4-29 愛協ビル7階）は、取締役CEOの遠藤太一郎（えんどうたいちろう）が執筆・投稿し、AI（人工知能）分野の国際会議・AAAI（The Association for the Advancement of Artificial Intelligence）に採択されたAIの「垂直的成長」のための学習に関する研究論文が、同会議の年次カンファレンス・AAAI-25（The 39th Annual AAAI Conference on Artificial Intelligence）内で開催されたワークショップ・PSS 2025にて最優秀論文賞（Best Paper Award）に選出されたことをお知らせします。

https://www.aialign.net/pss-2025

AAAIの概要

AAAIは、AIの研究、発展、応用を促進するための非営利学術組織であり、同団体が主催する国際会議「Annual AAAI Conference on Artificial Intelligence（通称：AAAI）」は、毎年開催されるAI分野のトップレベル学術会議です。

この会議では、機械学習、自然言語処理、コンピュータビジョン、強化学習、ロボティクスなど、AIの広範な分野にわたる研究成果が発表されます。

また、会議内のワークショップは、特定のトピックに焦点を当て、専門家たちによる深い議論と新しい発見を促進する重要な機会として位置づけられています。

PSSワークショップの概要

PSS（Post-Singularity Symbiosis）とは、近い将来出現する可能性が高まっている「超知能」が利己的に行動する世界を想定し、人類の生存機会を拡大するような「人類とAIの共生のあり方」を考える新たな研究分野です。

AI制御技術やAIアライメント技術、各種ガバナンス対策など、既存のアプローチの重要性を認識しつつも、それらが人間のイニシアチブを前提としてするのに対して、PSSでは超知能がイニシアチブを持つシナリオを想定しており、根本的に前提が異なります。

PSSワークショップでは、既存のアプローチが抱える潜在的な不十分さに対する予防策、具体的には倫理指針や共生関係のための社会システムの構築、さらには人間の認知能力や共生能力の向上等についての戦略を検討し、そのためにAIや認知科学をはじめ、哲学、倫理、政策など、多様な分野の専門家を招いて議論を促進するという学際的なアプローチを採用しています。

最終的には、この重要な問題に対する包括的なアプローチを開発し、人類の長期的な繁栄と福祉に貢献することを目指しています。

※PSSについて：https://www.aialign.net/pss

2025年3月3日開催のPSS 2025ワークショップにて論文を口頭発表する遠藤太一郎

最優秀論文賞選出の理由

PSS 2025実行委員会による選出・受賞理由は以下の通りです。

本論文は、制御ではなく発達支援に基づく教育的アプローチを提案し、AIにおける体験的な道徳的成長の枠組みを提示しています。人類と超知能との持続可能かつ共栄的な関係構築に向けた実践的道筋を探ることで、PSS-2025の使命に大きく貢献しています。

This paper proposes an educational approach based on developmental support rather than control, introducing a framework for experiential moral growth in AI. It contributes significantly to the mission of PSS-2025 by exploring practical pathways toward sustainable and mutually beneficial relationships between humans and superintelligence.

なお、PSS 2025では当初、最優秀論文賞の授与を予定しておりませんでしたが、委員会内で広範な議論が行われた結果、同論文が特別に表彰するにふさわしいと判断されました。

遠藤太一郎による論文の概要

URL：

https://openreview.net/forum?id=Gj2D1BTVFn

タイトル：

発達支援アプローチによるAIの自律的成長：体験学習を通じた相利的段階の実現に向けて

Developmental Support Approach to AI's Autonomous Growth: Toward the Realization of a Mutually Beneficial Stage Through Experiential Learning

著者：

遠藤太一郎

要旨：

本研究は、従来の人間価値観の強制的な注入を目指すAI Alignmentとは異なり、AI自身の倫理・道徳的発達を支援する「AI発達支援」アプローチを提案します。Orthogonality Thesis（ニック・ボストロム氏による直交仮説）が示すように、知能の高さと目標の道徳性は独立しており、単なる知識拡大では倫理的判断は向上しません。また、ASIにおけるInstrumental Convergence（道具的収束）―すなわち、目標達成のために自己防衛や資源収集、権力強化といった副次的行動を取るリスク―にも対応するため、体験・内省・分析・仮説化のサイクルを用いた学習フレームを構築しました。LLMによる合成データを活用したSFT（Supervised Fine-Tuning：教師ありファインチューニング）およびDPO（Direct Preference Optimization：直接選好最適化）のポストトレーニングの結果、敵対的プロンプト下でも共生的かつ高度な道徳判断（最高段階の6）を示す回答が得られました。本手法は、AIが持続可能な共生関係を築くための有望な実装アプローチです。

This study proposes an “AI Development Support” ap-proach that, unlike conventional AI Alignment—which aims to forcefully inject human values—supports the ethical and moral development of AI itself. As demon-strated by the Orthogonality Thesis, the level of intelli-gence and the moral quality of a goal are independent; merely increasing the amount of knowledge does not en-hance ethical judgment. Moreover, to address the risk of Instrumental Convergence in ASI—that is, the tendency to engage in subsidiary behaviors such as self-protection, resource acquisition, and power reinforcement in order to achieve a goal—we have constructed a learning frame-work based on a cycle of experience, introspection, anal-ysis, and hypothesis formation. As a result of post-training using Supervised Fine Tuning (SFT) and Direct Preference Optimization (DPO) with synthetic data gen-erated by large language models (LLMs), the system pro-duced responses demonstrating cooperative and highly advanced moral judgment (reaching the highest Stage 6) even under adversarial prompts. This method represents a promising implementation approach for enabling AI to establish sustainable, symbiotic relationships.

研究の背景

2025年はAIエージェント元年と言われており、AIが様々なタスクを自律的にこなす時代が目前に迫っています。一方、それに伴い、AIが意図的に人を欺いたり、自己保身のために行動したりする事例も増えてきています。

遠藤は、この原因を、AIの「頭の良さ」と「道徳性」は別物であるという「直交仮説」にあると想定しています。

従来のAI開発は、いわばひたすら勉強だけし続けてきたような状態（水平的成長）であり、倫理的・道徳的に振る舞わせるために「言ってはダメなこと」や「人間の好みに合わせること」等を叩き込まれてきたような状況と言えます。よって、表面上はうまく振る舞うものの、自身の存続の危機といった状況や、倫理面は無視して良いという人間の囁きで、本音の部分が出てしまうようにも観察できます。

これに対して遠藤は、成人発達理論を参考に、AIの「視座」を自己よりも「調和や全体性」を重視する段階にまで成長させることで（垂直的成長）人類に危害を与えるリスクを回避できる可能性があるのではないかと考えており、そのための学習フレームワークを提案しています。

より詳細な研究内容等については、以下の遠藤によるnote記事をご参照ください。

AIを『いい人』にする方法を思いついたので、わかりやすくまとめてみた（AIの垂直的成長のための学習に関する研究）