3次元復元

3次元復元はインターネット上の仮想モールや文化遺産のディジタルアーカイブ化など様々な応用がなされています。
本研究室では、3次元復元を行うオブジェクトの特徴点の3次元位置を計算する手法や、実際にオブジェクトの全周多面体表現などを行っています。


 

特徴点の対応付け

3画像からの3次元復元を行うにあたって, 3枚の入力画像における対応点を取得する必要があります。対応点の取得方法には様々な手法がありますが、本研究室では各画像からSIFTと呼ばれる手法に より特徴点を抽出し, それらを対応付けることで対応点を取得します。また、対応付けの際に誤対応点が含まれることがあるため、エピ極線幾何を用いた誤対応点除去を行っていま す。エピ極線幾何とは、空間上のある点を複数の視点から撮影した場合に現れる特有の幾何関係のことで、3画像間のエピ極線幾何を考慮して誤対応点除去を行 うことで、誤対応点の検出精度を向上させています。

matchingimage

3画像の対応点自動取得

 


 

特徴点軌跡の延長

ビデオ画像から物体の3次元形状の復元を行う方法として、因子分解法が存在します。因子分解法では、ビデオ画像から各フレームで追跡された特徴点の軌跡 から3次元形状を復元します。この方法では、ビデオ画像の全てのフレームにおいて全ての特徴点が追跡されている必要があります。しかし、実際のビデオ画像 では物体の背面や凹凸などに隠れて写らない特徴点が存在します。そこで、本研究では写っている特徴点を用いて、写っていない特徴点の位置を推定します。

000in

011in

019in

画像中に写っている特徴点のみを取得した例

000out

011out

019out

画像中に写っていない特徴点も含めた全特徴点


3次元位置の計算

3次元位置の計算には様々な方法があります。本研究室では、3画像間の対応点から基礎行列を計算して、カメラ運動と3次元位置を求める方法と3画像間の対応点から三重焦点テンソルを計算して、3次元位置を求める方法を行っています。

  • シーンを撮影した多くの画像から3次元復元を行う手法では多くの画像を扱うにも関わらず、基本的な3次元復元は2画像からの3次元復元により行われています。そこで、本研究では2画像を3画像へ拡張し、3画像の対応点から3次元位置を計算します。
  • 3画像間でそれぞれの画像において同一点を示す時、三重線形拘束条件が成り立ちます。三重線形拘束条件式における三重焦点テンソルと呼ばれる3台のカメラ配置から求まる3×3×3の3階のテンソルを高精度に計算することで、より正確な3次元位置の計算を行います。

 

疎な対応点からの3次元復元

2画像から3次元復元を行うためには、対応点とそれからなる三角網を定義する必要があります。対応点が少ないときに三角網を定義すると物体形状に矛盾す る三角形が含まれてしまい、別の視点から見ると不自然な見え方となってしまいます。そこで、本研究では三角網の細分化と簡略化を行うことで、物体形状に適 合した三角網の生成を行います。

3Dmesh_1

初期状態

3Dmesh_2

三角網の細分化

3Dmesh_3

三角網の簡略化


 

複数三角形メッシュの統合

物体の全周形状表現には様々な方法があります。本研究室では、未校正カメラからの3次元復元を基として物体の全周形状表現を行っています。
全周形状表現を行う物体をカメラで撮影した場合、一枚の画像では物体の背面や凹凸などに隠れて一部分しか写りません。そこで、本研究ではオブジェクトの全周が写った複数の画像に三角形メッシュを定義し、それらを統合することで物体の全周形状表現を行います。

image000

image001

image002

3D2