イメージアライメントwarpPerspectiveまたはwarpAffine

Question

私は、3Dシーン内にオブジェクトの2つのイメージI1とI2を持っています。画像の違いは、オブジェクトが移動したことです。カメラの位置と較正は既知であり、オブジェクト上のいくつかの3D特徴点とそれを移動させた3D変換が知られている。これらの特徴点の投影もあります。

イメージを整列させたい。私はカップルのオプションを持っているようなので、そうです：

1. 私はちょうど2次元特徴点を見て、アライメントを行うためにアフィン変換を導出することができます。直感的には、これは遠近歪みを説明しないので、エラーが発生するようです。

2. 私はホモグラフィ変換を見つけることができ、変換を行うにはwarpPerspectiveを使用します。私はホモグラフィ変換には新しいですが、これは遠近歪みを考慮に入れるように思えます。実際、私の設定では、ホモグラフィ行列は単に投影行列を反転させ、3D変換を反転して再投影するというものです。これはx '= Hxを与える。これは私に正確な画像アライメントを与えるようです。

最初の質問：warpPerspectiveはwarpAffineの整列結果を改善しますか？

2番目の質問：すべての特徴点が同じ平面にあるわけではありません。 warpPerspectiveを引き続き使用できますか？私はホモグラフィ変換のためにポイントが同じ平面上になければならないと読みました。

3番目の質問：ホモグラフィ変換は3x3なので、変換を行うにはイメージの各ピクセルのz座標を知る必要がありますか？

ありがとうございました。

Answer 1

アフィン変換は、画像内の平面変換です。これは、面外の変換を説明しません。

ホモグラフィは、平面の透視変換をモデル化します。例えば、背の傾斜した飛行機の場合。

オブジェクトが平面であるが面外回転を行うことができるオブジェクトを作成するには、ホモグラフィが必要です。

あなたのモードがではなく、平面である場合、ホモグラフィは真のモデルではありません。それが言われている、それはしばしば十分な近似です。しかし、面外の点は間違って歪んでしまいます。