ARKitは特定のサーフェスを平面として検出できますか？

Question

私は現在、iOS 11+とARKitを使用して、水平面上の平面を検出することができ、その平面上にその平面を視覚化することもできます。

何らかの画像ファイルを使って、平面を検出したい特定のサーフェスを宣言できるのだろうかと思いますか？ （ARKitが他のサーフェスから検出した他のすべてのプレーンを無視する可能性があります）

- それができない場合は、検出されたプレーンを画像でキャプチャしてコアMLモデルその特定の表面を識別する？

Answer 1

ARKitは現時点でこのようなことをサポートしていません。実際にイメージとして検出された平面をキャプチャすることができます。リアルタイムでコアMLを使ってこれを照合することができれば、多くの人々が興味を持っていると確信しています！あなたがすべき

：

• 平面
• の隅の3次元位置がsceneView.projectPoint
• を使用して、フレームでの2次元位置を見つけますがcurrentFrame.capturedImage
• からフレームを抽出するには、行いますあなたの飛行機に残された画像上のアフィン変換を長方形に再投影
• マッチを検出するためにいくつかのML /画像処理を行う

ARKitの矩形検出は、多くの場合、整列が不十分で、完全な平面の一部のみを持つことができます。

最後に残念なことに、ARKit公開は有用ではない点があります。なぜなら、フレーム間で特徴点を一致させるための特性が含まれていないからです。Appleは特徴点を計算するアルゴリズムを教えていません。