Camera-LiDAR Fusionとは｜カメラとLiDARを「同じ座標」で統合する技術

この記事でわかること:
カメラとLiDARを一緒に入れても、そのままでは「同じ人物のデータ」として突き合わせられません。その理由と、両者を同一座標で統合するCamera-LiDAR Fusionの仕組み、HULIXが実環境で確かめてきたこと、既存のカメラ資産をどう活かせるかを、順に説明します。

カメラ映像と点群を重ねた人物・車両検出のデモ。画面の検出数は精度の保証値ではありません。

カメラもLiDARも入れた。それでも現場の判断ができない

施設のDXやロボット導入を進める現場では、こんな場面が少なくありません。「カメラは既にある。映像を見れば、何が起きているかはわかる。でも、その人が正確にどの位置にいて、どの速度で動いているかまでは取れない」。

逆のケースもあります。LiDARを入れれば、個人を識別しにくい形で、高精度な位置と動きが取れます。ただし点群だけでは、「その集団が何をしているのか」「なぜ立ち止まっているのか」という意味までは読み切れません。

そこで両方を導入します。ところが今度は、カメラの映像とLiDARのデータが別々の座標・別々の時刻で記録されていて、突き合わせられないという壁に当たります。「カメラに写っているこの人」と「LiDARのこの点群」が同じ人なのか、断定できないのです。

これはセンサーの性能の問題ではありません。データを同じ土俵（座標）に乗せる技術があるかどうかの問題です。センサーを増やしても、座標を揃えなければ現場の判断材料にはなりません。Camera-LiDAR Fusionは、この「座標を揃える」を解く技術です。

Camera-LiDAR Fusionとは

Camera-LiDAR Fusionとは、カメラ画像とLiDAR点群を同一の空間座標系に位置合わせして統合する、センサーフュージョンの技術です。カメラが得意な「何が起きているか（属性・意味）」と、LiDARが得意な「どこに・何人・どの速度で（位置・動き）」を、一つの空間データとして重ねられます。単一のセンサーでは判断しにくかった現場の状況を、座標のズレを抑えて読み解けるようになります。

すでにカメラがある施設は、カメラを置き換えるのではなく、LiDARと座標を揃えて活かす構成を組めます。

仕組み——3ステップで「同じ座標」を作る

Camera-LiDAR Fusionの中身は、大きく3つのステップに分けると理解しやすくなります。

説明用イメージ：Fusionの3ステップ（キャリブレーション→時刻同期→空間相関）の概念図

ステップ1: キャリブレーション（座標合わせ）

カメラとLiDARは、設置位置も向きも見え方もまったく異なるセンサーです。まず「カメラ画像のこのピクセルは、LiDAR点群のこの点に対応する」という対応関係を求めます。これがキャリブレーションで、Fusionの精度を最も左右する工程です。HULIXはこの工程を自社で開発し、現場ごとの条件に合わせて調整しています。

ステップ2: 時刻同期

カメラとLiDARは、データを取得する周期もタイミングも違います。動いている人を扱う以上、「同じ瞬間のデータ同士」を対応づけなければ、座標が合っていても実体はズレます。映像のフレームと点群の時刻を揃えることで、動いている対象でも破綻しない統合ができます。

ステップ3: 空間相関

座標と時刻が揃えば、カメラの画とLiDARの点群を同一空間座標で重ねられます。映像上の対象それぞれに正確な位置と速度が紐づき、点群の塊ひとつひとつに意味が紐づく——単一のセンサーだけでは得にくい解像度で、現場を読めるようになります。

実証・技術検証——条件の異なる3つの環境で

HULIXは、条件の異なる3つの環境で、この技術が成立するかを確かめてきました。

屋外の交差点（実証）

屋外・多方向の歩行者流を対象に、交差点でFusionの実測を行いました。信号待ちの滞留と横断の流れが交錯する、屋外でも難度の高い環境です。カメラ映像とLiDAR点群を同一座標で重ね、交差点全体の人の動きを読み解けることを確認しています。

屋内の大規模交通ターミナル（実証）

屋内・大空間・高密度という条件でも検証しました。旅客が集中する空間で、映像上の状況とLiDARの位置・滞留データを空間相関させ、施設運用の判断に使えるデータの形になることを確認しています。

移動体への搭載（試作・技術検証）

固定設置だけではありません。走行ロボットにカメラとLiDARを搭載したプロトタイプを組み、センサー自体が動く条件でも座標を揃えられることを確かめています。これは、ロボットと人が共存する空間への応用に直結します。

屋外交差点・屋内大空間・移動体搭載——設置条件がまったく異なる3つの環境で成立を確認していることが、この技術を実運用へ広げていける理由です。実運用への適用は、対象と条件をうかがって検討します。

カメラとLiDARの組み合わせを検討する前に、全体像を整理できる資料を無料配布中
LiDAR計測の仕組み・カメラとの違い・活用の全体像をまとめた資料（PDF）です。技術部門・企画部門の社内説明にそのまま使えます。
資料を無料ダウンロード →

Fusionで何ができるようになるか

「誰が・どこで・どう動いたか」が一つのデータになる

LiDAR単体の動線データは、匿名で高精度ですが、「その動線を作っているのがどんな来訪者か」までは読めません。Fusionなら、カメラ側の属性・意味理解と、LiDAR側の位置・動線を同一座標で対応づけられます。「どの層が・どこで・どう動いたか」が一つのデータになり、打ち手の精度が変わります。

ロボットと人が共存する空間の安全性評価

人・モノ・ロボットが共存する空間では、「ロボットと人がどの距離で・どの速度で近づいているか」を数字で把握できなければ、安全性を評価することも改善することもできません。Fusionは、映像で状況を理解しながら、点群で正確な位置関係を測るという両輪を提供します。ロボット搭載の検証は、まさにこの応用を見据えたものです。

既存のカメラ資産を、捨てずに活かす

多くの施設には、すでに多数のカメラが設置されています。Fusionの考え方に立てば、この資産は「捨ててLiDARに置き換える」対象ではなく、LiDARと座標を揃えて活かす対象になります。カメラが担ってきた状況把握はそのままに、足りなかった位置と動きの精度をLiDARで補う構成を検討できます。

現場の判断と改善につなげる

カメラとLiDARを統合して得た位置・属性・速度は、ダッシュボードや定期レポートで「どの層が・どこで滞留し・どこを改善すべきか」を判断する材料になります。センサーをつなぐことが目的ではなく、その先の配置・誘導・レイアウトの見直しまでを見据えて設計します。

なぜHULIXがこれをできるのか

Camera-LiDAR Fusionは、センサーを2種類買ってくれば動く技術ではありません。座標を揃え、時刻を揃え、現場で運用し続けるための技術の積み重ねが要ります。

HULIXの技術の核は、大学発の研究をルーツとするエッジAIです。点群処理・キャリブレーション・統合までを自社で開発しているため、現場の条件に合わせて技術の中身から調整できます。LiDARのハードは特定メーカーに縛られないマルチベンダー対応で、計測範囲・設置条件・コストに応じてセンサーを選べます。

センサー選定から設置設計、キャリブレーション、データ活用までを一つの流れで提供できる——これが「カメラとLiDARを買ったのに、つながらない」を起こさせない理由です。HULIXは人数を数えるだけの会社ではありません。現実空間で起きている事象を読み解き、カメラ・LiDAR・AIのデータを共通座標で現場の判断に使える形にする。Fusionは、その中核の技術です。

よくある質問（FAQ）

Q. カメラとLiDARは、結局どちらかを選ぶものではないのですか？

A. 用途が一つなら、どちらか一方で足りる場合もあります。属性や意味の理解が必要ならカメラ、匿名・高精度な位置・暗所対応が必要ならLiDARが強みを発揮します。ただし「誰が・どこで・どう動いたか」を一つのデータで判断したい場合は、単体では届きません。両者を同一座標で統合するFusionは、二者択一を前提にしない選択肢です。単体の比較はLiDARとカメラの比較記事で解説しています。

Q. 既設の防犯カメラを、そのまま使えますか？

A. 構成として検討できます。既存カメラの映像とLiDAR点群を座標合わせして統合するのが基本ですが、カメラの機種・設置位置・画角によって条件が変わるため、個別の確認が必要です。「使えるか、入れ替えるか」の判断を含めて、相談から始めることをおすすめします。

Q. カメラを使う以上、プライバシーの問題は残りませんか？

A. カメラ映像を扱う部分には、通常のカメラ運用と同じく個人情報保護の設計が必要です。HULIXが公開する検証素材では、人物の顔にぼかし処理をしています。カメラで取る情報を属性などに絞り、位置と動線はLiDARで取る設計にすれば、映像の保管範囲や運用の負荷を抑えられます。属性をカメラで取る場合、その映像と、LiDARと連結したデータは、個人情報として扱う前提で設計します。

Q. どのメーカーのLiDARに対応していますか？

A. マルチベンダー対応です。特定メーカーの製品に縛られず、計測範囲・設置条件・コストに応じてセンサーを選定できます。

Q. 走行ロボットや車両など、動くものにも搭載できますか？

A. 試作の段階では、走行ロボットにカメラとLiDARを搭載し、移動体の上での座標合わせを確認しています。実運用への適用は、対象と条件をうかがったうえで検討します。人とロボットが共存する空間の安全性評価など、移動体を含む応用を見据えています。

カメラは既にある。LiDARの精度も欲しい。その2つを「同じ座標」でつなげられるかは、現場の条件を見れば判断できます。センサーを別々に増やしてから統合をやり直すより、最初から座標を揃える前提で設計に入るほうが、二重投資になるリスクを減らせます。既存のカメラ資産を活かせるかどうか、30分のオンライン相談でご確認ください。

Camera-LiDAR Fusionの技術相談を予約（オンライン30分）→
既存カメラの構成と現場条件をもとに、統合が成立するかをHULIXの担当者が確認します。お手元にあれば、既存カメラの機種・設置位置・画角がわかる資料と、現場の図面をご用意ください。なくても、状況をうかがって方針を整理します。

SIer・ロボット／機器ベンダーの方へ：パートナー連携を相談する →