Physical AI 拡張シリーズ 第3回：VLMと3D AI—現場AIの新しい可能性

はじめに：AIが「説明できる」時代へ

従来の現場AIは、「混雑が発生している」「人数が閾値を超えた」という結果を出力するだけでした。しかし現場の運用担当者が本当に必要としているのは、「なぜその状況が起きているのか」「何をすれば改善できるのか」という文脈のある説明です。その変化をもたらすのが、ビジョン・ランゲージ・モデル（VLM）と3D AIの融合です。

1. VLMとは何か

ビジョン・ランゲージ・モデル（VLM: Vision-Language Model）は、画像や動画と自然言語テキストを同時に処理するマルチモーダルAIです。単純な画像分類を超えて、視覚的な情報に基づいた質問応答・指示生成・状況説明が可能です。

近年のVLMの進化は目覚ましく、マルチモーダルAIは「バズワード」から「ベースライン技術」へと急速に進化しています。公開されているGLM-4.6VやGemma3などのオープンソースモデルは、ツール呼び出しや長文コンテキストへの対応を強化し、実務アプリケーションへの組み込みが現実的になっています。

2. 現場AIにVLMを組み合わせる意義

従来の現場AIシステムには、いくつかの根本的な課題がありました。

• 説明の欠如：アラートは出るが、現場担当者が「なぜ」を理解できない。
• 専門知識の壁：AIの判断根拠を理解するには、データサイエンスの知識が必要だった。
• 文脈の欠如：センサーデータと運用状況（スタッフシフト・イベント内容）の関連を自動で結びつけられなかった。

VLMを組み込むことで、これらの課題に対して以下のような解決策が生まれます。

• 「どのゾーンで滞留が発生し、原因は何か」を自然言語で回答
• 「警備員はどの経路を辿れば効率的か」をリアルタイムに提案
• 運用ログや現場条件を組み合わせた仮説生成（LLMとの連携）

3. 3D AIとVLMの技術的な融合

3D AIはLiDARやステレオカメラの点群データを解析し、物体検出・セグメンテーション・動線予測を行います。HULIXでは3Dセンサーによる点群から人物やロボットの軌跡を推定し、その結果をVLMに連携するプロトタイプ開発を進めています。

技術的な実装アプローチとして、以下の2つが検討されています。

• 2D投影アプローチ：点群データを2D平面に投影し、既存の画像ベースVLMへ入力する方法。既存のVLMインフラをそのまま活用できます。
• 3D対応VLM：Geometry Grounded VLMなど、3D空間を直接理解できる新世代モデルの活用。より正確な空間理解が可能になります。

4. HULIXが考える導入ステップ

VLMを現場AIに組み込む際の実践的なアドバイスとして、以下のアプローチを推奨します。

• データの多様性：VLMは画像と言語のペアデータで学習しています。現場の状況を表現したテキストデータ（運用ログ・マニュアル）とセンサー画像の対応付けが品質を左右します。
• 小規模実験から始める：まず限定されたゾーンでVLMベースの説明サービスを試し、現場スタッフとの対話を通じて改善するアジャイルなアプローチが有効です。
• 人間の判断との組み合わせ：VLMの提案はあくまで補助。最終判断は現場担当者が行う設計が信頼性確保に重要です。

まとめ

• VLMの登場は、現場AIに言語理解と説明機能をもたらし、運用担当者がAIの判断根拠を理解しやすくする。
• 3D AIとVLMを組み合わせることで、点群解析結果を自然言語で説明し、仮説検証のスピードを高める。
• HULIXはVLMを用いた実験を進めており、混雑解析・警備支援への応用を検討している。