科大訊飛、車載AIを音声操作から複数乗員の意思決定・生活サービス統合へ――SOFIAで自動車メーカー向けAI基盤を刷新
［メンバーシップ限定］中国のAI大手、科大訊飛（iFLYTEK）は2026年10月21日、北京で開催したスマート自動車技術発表会で、新世代の「星火スマートコックピット3.0」を発表した。新たなAIアーキテクチャ「SOFIA」を中核に、音声・映像・車両状態を統合して理解し、複数乗員の要求を調整しながら、車両操作や生活サービスを実行する。
今回の特徴は、車載AIの役割を、音声指示に応答する機能から、車内外の状況を理解し、複数のタスクを判断・実行する仕組みへ拡張したことである。さらに、決済、健康管理、駐車などを統合し、自動車メーカーが独自のサービスを開発できるAI基盤として提供する。
SOFIA、知覚・判断・表現・記憶を統合
今回発表されたSOFIAは、人間の知覚、思考、表現、記憶を参考に設計されたマルチモーダルAIアーキテクチャである。
構成するのは、全モーダル知覚システム、思考・意思決定システム、多次元表現システム、記憶・進化システムの四つである。
音声を聞き取るだけでなく、カメラ映像、乗員の位置、車両の状態、周囲の環境などを組み合わせて理解する。さらに、利用者の過去の行動や好みを記憶し、その場の状況に応じた応答や操作につなげる。
AIの判断では、即座に処理すべき簡単な指示と、複数の条件を考慮する必要がある複雑な要求を区別する。複数の要求が同時に発生した場合には、優先順位の判断やタスクの統合を行う。
また、実行結果が想定と異なった場合には、車両の状態を確認して判断を修正する仕組みも取り入れた。
従来の音声アシスタントが、利用者の指示を個別の機能へ振り分ける役割を中心としていたのに対し、SOFIAは複数の機能を横断して管理することを目指す。
複数乗員の要求を調整、AIが判断を独占しない
発表会では、実車を使った複数乗員との対話デモが行われた。
特徴的だったのは、複数の乗員が異なる希望を同時に伝えた際のAIの対応である。
デモでは、北京で約3時間の夜間観光を計画する場面が紹介された。乗員の一人は近代的な都市景観を希望し、別の乗員は伝統的な路地を歩きたいと主張する。さらに、別の乗員からも異なる観光地の希望が示された。
AIはそれぞれの発言を理解したものの、限られた時間内ですべてを満たすことが難しいと判断した。
そこで、勝手に目的地を決定するのではなく、乗員同士で希望を調整するよう促した。乗員が優先順位を決めると、それに沿って行程の提案を再開した。
これは、AIが複数の要求を認識できるだけでなく、判断を利用者へ戻すべき場面を区別する設計を示している。
別のデモでは、前席の乗員がAIに対し、後席に乗り込んでくる同僚をからかうよう事前に依頼した。AIは後席乗員の要求に冗談交じりで反論する一方、前席乗員から同様の要求が出されると応じた。
このデモは、乗員の識別、対話履歴の保持、会話上の役割設定を組み合わせた事例である。
ただし、あくまで事前に設定された実演であり、日常のあらゆる複数乗員環境で同様の対応ができることを証明するものではない。
68以上の記憶項目、利用者ごとの継続的な学習へ
SOFIAでは、利用者に関する記憶機能も強化された。
発表会によれば、管理する記憶の次元は68以上に達している。好みや人間関係、過去の移動履歴、感情の変化などを継続的に把握し、利用するほど個人に適したサービスを提供することを目指す。
記憶情報は構造化して抽出・管理し、蓄積されたデータをAIの応答改善に活用する。
一方、個人情報の保護については、声紋認証や顔認証などを組み合わせ、機密性の高い情報を車載側に保持する方式を説明した。
この仕組みは、単に過去の会話を保存するものではない。
例えば、乗員の好みを踏まえた飲食店の提案や、日常的な行動パターンに応じた車内環境の調整など、記憶を具体的なサービスへ結び付けることが想定されている。
ただし、記憶の保存期間、削除方法、自動車メーカーとのデータ共有範囲など、運用上の詳細は今回確認できた説明だけでは明らかになっていない。
端末側で約60％を処理、クラウド依存を低減
SOFIAを支える大規模モデルでは、車載端末とクラウドの協調処理を重視する。
科大訊飛の呉暁如氏は、同社の評価では、AIが処理する問題の約60％を端末側で解決でき、残り約40％をクラウドとの協調によって処理できると説明した。
狙いは、クラウド側で消費するトークンを削減し、通信に依存しない処理を増やすことである。
車載端末向けには4Bモデルを中心に説明し、2B、4B、7Bのモデル群も継続して強化する方針を示した。さらに、MoE方式のモデルについても言及した。
ただし、60％という数値は同社の評価条件に基づくものであり、すべての車載AI処理について同じ割合が成立するわけではない。
端末側で処理できる機能が増えれば、通信環境が不安定な場所でも利用できるサービスが広がり、応答速度やプライバシー保護の面でも利点が生まれる。
一方、複雑な推論や外部サービスとの連携には引き続きクラウドが必要となる。科大訊飛は両者を組み合わせることで、性能と運用コストの両立を図る。
音声と映像を統合、車内外の状況を理解
今回の発表では、車内外の知覚能力についても具体的な数値が示された。
音声認識では、車外から最大30m離れた位置での音声操作に対応すると説明した。さらに、最大200m先の緊急車両など、特徴的な音を検知する機能も紹介した。
車外音声操作では、荷物を持ったままトランクを開けたり、車両を呼び寄せたりする場面を想定する。乗員が車両のどの位置にいるかを識別し、その位置に応じた操作を行う。
映像認識では、車載端末側の小規模モデルとマルチモーダル大規模モデルを組み合わせる。
応答速度が重要な簡単な認識処理は小規模モデルが担当し、複雑な状況理解は大規模モデルが処理する。
同社によれば、100種類以上のマルチモーダル認識シーンに対応し、認識精度は95％超、曖昧な意図の理解精度は93％に達した。
駐車監視機能では、端末側の大規模モデルによって映像を解析し、約4秒で判断結果を出力する仕組みを紹介した。単に映像を記録するだけでなく、異常の可能性を判断し、証拠となる画像を選択する。
車内でも、映像と音声を組み合わせた操作が可能となる。
例えば、乗員が持っているバッグの色を認識し、それに合わせて車内照明を変更する。前方車両に描かれたキャラクターを認識し、関連する映像コンテンツを再生する。乗員の服装から好みのスポーツチームを推測し、関連情報を探すといった場面も実演された。
これらは、音声指示だけでは対象を特定できない場合に、映像情報を利用する仕組みである。
Alipayと連携、AIが飲食店予約から決済まで実行
生活サービスとの連携では、Alipayとの協力が発表された。
星火スマートコックピット3.0では、Master Agentが利用者の要求を理解し、必要な外部サービスを呼び出す。
発表会では、飲食店の検索、順番待ちの受付、テイクアウト注文、駐車料金の支払いなどを組み合わせた利用場面が紹介された。
例えば、商業施設へ向かう途中で飲食店を探す場合、AIは現在の走行状況と到着予定時刻を踏まえて店舗を提案する。
希望する店舗が決まれば、順番待ちの受付を行い、到着時刻と待ち時間が合うように調整する。受付状況を継続的に確認し、順番が近づけば利用者へ通知する。
テイクアウトでは、店舗までの距離や交通状況を考慮して受け取り先を提案し、注文と決済を支援する。
今回の特徴は、個々のサービスを音声で起動するだけではなく、移動の目的と利用者の条件を理解し、複数のサービスを一連の行動として実行する点にある。
もっとも、実際に利用できるサービスの範囲は、各自動車メーカーによる実装や外部事業者との連携状況によって異なる。
駐車Agent、曖昧な指示を車両操作へ
駐車分野では、新たな「随心泊Agent」を発表した。
従来の自動駐車機能が、あらかじめ決められた操作手順や駐車位置を中心としていたのに対し、随心泊Agentは利用者の自然な言葉やジェスチャーを理解し、駐車方法を判断することを目指す。
例えば、利用者が日差しを避けられる場所や、乗り降りしやすい場所への駐車を希望した場合、周囲の状況、安全距離、利用者の習慣などを考慮する。
また、駐車中にAIが何を判断し、どのような操作を行っているかを利用者へ説明することも重視した。
これは、コックピットAIが車両の操作機能と連携する方向を示すものである。
ただし、実際の車両移動や駐車制御は、対応する自動運転・自動駐車システムが担う。SOFIAが車両の運動制御そのものを全面的に置き換えるわけではない。
健康コックピット3.0、家族全員の健康管理へ
科大訊飛は、医療AIの技術を車載空間へ取り込む「健康コックピット3.0」も発表した。
同社の医療AIサービス「訊飛暁医」を基盤に、乗員ごとの健康情報を管理し、車内での状態把握から健康相談、医療機関の案内までを連携させる。
主な機能は、乗員の識別と個別の健康情報管理、ウェアラブル端末とのデータ連携、疲労などのリスク把握、医療AIによる相談、医療機関へのナビゲーションである。
発表会では、同社の医療AIサービスについて、累計利用2億回超、利用者3,500万人超という実績も紹介された。
健康コックピットでは、こうした医療AIの技術と車載センサーを組み合わせ、運転中だけでなく日常生活の健康管理にもつなげる構想を示した。
ただし、健康状態の推定や医療相談の機能は、医師による診断と同一ではない。車載センサーの測定精度、医療サービスとの責任分担、個人情報の取り扱いなどは、実用化にあたって重要な課題となる。
