環境モデリング

多種多様な情報を利用して「環境を理解する人工知能」の研究に取り組んでいます。センサーの計測情報やインターネット上の大量のデータからコンピュータが環境を自動で認識し、空間マップの自動更新、シーンコンテクストの理解、それらに基づく快適なナビゲーションを目指しています。

この目的を実現するために、画像処理、ディープラーニング、自然言語処理の技術を用いて、3次元モデリングや変化検出、シーン認識、傾向分析などを行っています。


LiDARと全方位カメラを用いた高精度3次元テクスチャモデルの生成

レーザーセンサであるLiDAR(Light Detection and Ranging)と全方位カメラを用いて,地下街などの屋内空間の高精度なテクスチャモデルを生成します。このために,SLAM・キャリブレーション・セグメンテーション手法に関する研究を行っています.

(上: LiDARによる点群,中: 全方位カメラ画像,下: 全方位カメラの色情報を付加した点群)


画像を用いた屋内外3次元モデリング

モバイル全天球カメラを用いて,屋内外の3次元モデルを構築します.また,ナビゲーショシステムの開発や,そのためのマップの標準化にも取り組んでいます.

名古屋大学IB電子情報館の3次元モデルを以下から閲覧できます(約70MB).
IB館3次元モデル

[操作方法]

  • ドラッグで視点を変更できます.
  • 各カメラをクリックすると,その視点からの全天球画像が表示されます(左上のflyボタンで戻る).
  • 左上のメニューから点群の大きさなどを変更できます.

サーマルカメラによる3Dモデルへの温度情報の付加

可視光カメラと温度カメラを用いてシーンの3次元温度マップを構築する手法に関する研究に取り組んでいます.

Structure from Motion (SfM) および Multi-view Stereo (MVS)により復元したシーンの3次元メッシュモデルに温度情報を投影することで3次元温度マップを構築します.


温度画像から得られる情報を用いて3次元メッシュモデルのスケールを推定することにより,単眼の可視光カメラと温度カメラのみによる温度マップの構築を目指しています.


ディープラーニングによる衛星画像からの雲の除去

雲の有無によらない人工衛星からの安定的な地上観測システムの構築を目指しています.

そのために,可視光線より長い波長帯の光によって取得された画像(近赤外,遠赤外,SAR画像等)から可視光画像を推定する手法に関する研究を行っています.

[Paper]


看板画像を用いたwebサイトと実環境のマッチング

店舗のWebサイトにあるロゴ等の画像を用いて,実際に撮影された店舗画像とのマッチングや,ナビゲーションの際に有用なランドマークの自動認識を目指しています.


看板の認識精度を向上させるために,再帰的アノテーションによる看板画像の認識精度向上に関する研究を行なっています.