得られたホモグラフィ行列が良いかどうかを確認するには？

Question

この質問はすでにaskedでしたが、まだ解決できません。一連の点からcv::findHomographyと呼ぶことによってホモグラフィ行列を得る。私はそれが適切かどうかをチェックする必要があります。
提案された方法は、インライアの最大再投影誤差を計算し、それを閾値と比較することである。しかし、このようなフィルタリングの後、私は、オブジェクト境界ボックスをほぼ直線またはいくつかの奇妙な非凸四角形に自己交差などで変形させて狂った変換を続けています。
ホモグラフィ行列自体が適切かどうかを確認するために使用できる制約はありますか？

Answer 1

あなたの質問は数学です。与えられた3x3の行列は、それが良い剛性変換を表すかどうかを決定する。 それは「良い」ですが、ここでは、多角形の点の方向を維持する必要があり、あなたに

1. ホモグラフィを助けることができるいくつかの手がかりが何であるかを定義するのは難しいです。簡単なテストを設計する。点（0,0）、（imwidth、0）、（幅、高さ）、（0、高さ）は時計回りに配置された四角形を表します。それらの点にホモグラフィを適用し、それらが時計回りに配置されているかどうかを確認してください。時計回りになると、ホモグラフィが画像を反転（ミラーリング）しています。しかし、あなたのポイントが順調でない場合は、 "ホモグラフィが悪い"
2. ホモグラフィは、オブジェクトのスケールをあまりにも変更しません。たとえば、画像をXの倍率で縮小または拡大すると予想される場合は、このルールをチェックしてください。ホモグラフィを用いて4点（0,0）、（imwidth、0）、（幅-1、高さ）、（0、高さ）を変換し、四角形の面積（ポリゴンの面積を計算するopencv法）面積が大きすぎる（または小さすぎる）場合は、おそらくエラーが発生します。
3. 良いホモグラフィは、通常、低い値の視点を使用します。通常、画像のサイズが〜1000x1000ピクセルの場合、これらの値は〜0.005-0.001である必要があります。高い視点は、おそらくエラーである巨大な歪みを引き起こすでしょう。それらの値がどこにあるのかわからない場合は、私の投稿を読んでください： trying to understand the Affine Transform 。それはアフィン変換の数学を説明し、他の2つの値は遠近法のパラメータです。

上記の3つの条件（条件2が最も重要です）を確認すると、ほとんどの問題を検出できると思います。 幸運

Answer 2

編集：この回答は質問には関係ありませんが、議論は私のような認識のために一致する結果を使用しようとする人に役立つかもしれません！私はいくつかの時間前に投稿さ

が

Point2f[] objCorners = { new Point2f(0, 0), 
    new Point2f(img1.Cols, 0), 
    new Point2f(img1.Cols, img1.Rows), 
    new Point2f(0, img1.Rows) }; 

Point2d[] sceneCorners = MyPerspectiveTransform3(objCorners, homography); 
double marginH = img2.Width * 0.1d; 
double marginV = img2.Height * 0.1d; 
bool homographyOK = isInside(-marginH, -marginV, img2.Width + marginH, img2.Height + marginV, sceneCorners); 
if (homographyOK) 
    for (int i = 1; i < sceneCorners.Length; i++) 
     if (sceneCorners[i - 1].DistanceTo(sceneCorners[i]) < 1) 
     { 
      homographyOK = false; 
      break; 
     } 
if (homographyOK) 
    homographyOK = isConvex(sceneCorners); 
if (homographyOK) 
    homographyOK = minAngleCheck(sceneCorners, 20d); 




    private static bool isInside(dynamic minX, dynamic minY, dynamic maxX, dynamic maxY, dynamic coors) 
     { 
      foreach (var c in coors) 
       if ((c.X < minX) || (c.Y < minY) || (c.X > maxX) || (c.Y > maxY)) 
        return false; 
      return true; 
     }  
     private static bool isLeft(dynamic a, dynamic b, dynamic c) 
     { 
      return ((b.X - a.X) * (c.Y - a.Y) - (b.Y - a.Y) * (c.X - a.X)) > 0; 
     } 
     private static bool isConvex<T>(IEnumerable<T> points) 
     { 
      var lst = points.ToList(); 
      if (lst.Count > 2) 
      { 
       bool left = isLeft(lst[0], lst[1], lst[2]); 
       lst.Add(lst.First()); 
       for (int i = 3; i < lst.Count; i++) 
        if (isLeft(lst[i - 2], lst[i - 1], lst[i]) != left) 
         return false; 
       return true; 
      } 
      else 
       return false; 
     } 
     private static bool minAngleCheck<T>(IEnumerable<T> points, double angle_InDegrees) 
     { 
      //20d * Math.PI/180d 
      var lst = points.ToList(); 
      if (lst.Count > 2) 
      {     
       lst.Add(lst.First()); 
       for (int i = 2; i < lst.Count; i++) 
       { 
        double a1 = angleInDegrees(lst[i - 2], lst[i-1]); 
        double a2 = angleInDegrees(lst[i], lst[i - 1]); 
        double d = Math.Abs(a1 - a2) % 180d; 

        if ((d < angle_InDegrees) || ((180d - d) < angle_InDegrees)) 
         return false; 
       } 
       return true; 
      } 
      else 
       return false; 
     } 
     private static double angleInDegrees(dynamic v1, dynamic v2) 
     { 
      return (radianToDegree(Math.Atan2(v1.Y - v2.Y, v1.X - v2.X))) % 360d; 
     } 
     private static double radianToDegree(double radian) 
     { 
      var degree = radian * (180d/Math.PI); 
      if (degree < 0d) 
       degree = 360d + degree; 

      return degree; 
     } 
     static Point2d[] MyPerspectiveTransform3(Point2f[] yourData, Mat transformationMatrix) 
     { 
      Point2f[] ret = Cv2.PerspectiveTransform(yourData, transformationMatrix); 
      return ret.Select(point2fToPoint2d).ToArray(); 
     }