WMF（Picture in Picture）のように2つのビデオストリームを1つのストリームにマージする

Question

私はWindows Media Foundationを学習しています。
Windows SDKで提供されているサンプルアプリケーションのほとんどをテストしました。
カメラからのビデオキャプチャとファイルからのビデオ再生のサンプルアプリケーションがあります。

私がアーカイブしたいのは、1つのビデオソースでこれらのビデオソースを組み合わせて、Picture in Pictureのような1つのビデオストリームを生成することです。これはWindowsのメディア基盤でどのように行うことができますか？

私は約MFCreateAggregateSourceを読んでいます
https://msdn.microsoft.com/en-us/library/windows/desktop/dd388085(v=vs.85).aspx

はMFCreateAggregateSource、この場合に使用することができ、またはそれはちょうど、オーディオおよびビデオストリームを混合するために使用されますか？

1つのビデオをフルスクリーンモードにして、最初のビデオの右上に小さなウィンドウで別のビデオストリームを表示したいとします。

メディア基盤を使用してこれを行う方法はありますか？

**更新**

私はそれらをデコードし、それらを混合した後、再エンコード彼らとそのファイルへの書き込みWMFを使用して2つのビデオストリームを読み、詳細については懸念をしています。スクリーンに表示しないでください。

Answer 1

MFCreateAggregateSourceはビデオミキシングを行いません。 2つのソースから1つのソースを作成します。たとえば、MediaSessionが（TopologyおよびTopologyNodeを通じて）使用することができます。

あなただけの2本のビデオを表示したい場合は、あなたがMFCreateAggregateSourceを使用してEVRに各ストリームを接続することができますEnhanced Video Renderer

を使用することができます。タイムスタンプ/デコーダ/ etc ...を処理したくない場合は、メディアセッション（IMFMediaSesion）も使用する必要があります。

Answer 2

あなたの仕事は非常に珍しく、2つのビデオストリームを1つにマージすることができるMedia Foundationコンポーネントはありません。ただし、 'IMFMediaSesion'は、 'MFCreateAggregateSource'経由で2つのビデオストリームを1つのソースで処理することをサポートしています。つまり、2つのビデオストリームをPicture in Pictureのようなものにマージする独自のソリューションを書くことを可能にする「LEGO」請負業者のようなMedia Foundationが、そのような機能を単独ではサポートしていないことを意味します。

よろしくお願いいたします。

P.S. 1つのストリームの多くの例が含まれていますが、 'WaterMarkTransform'コードの画像を注入するためのMedia Foundation Transformコードが含まれています。そのようなコードはあなたのソリューションのために開始することができます - 一つのビデオストリームを別のビデオストリームに注入します。

P.S.私は間違いを持っ​​ている - 私はあなたが唯一の表示ピクチャインピクチャが欲しいことを参照してください - EVR - デフォルトビデオレンダラは16のビデオストリームをサポートしています - 1つの参照と15追加 - 'MFCreateVideoRendererActivate'を介して 'VideoRenderer'ビデオストリーム（2つのストリームのそれぞれの場合）TopologyNode、TopologyNodeがすでに 'VideoRenderer'に設定されていて、 'SetObject'によって設定されているため、多くのビデオストリームは1つの 'VideoRenderer'を使用します。'MF_TOPONODE_STREAMID'をTopologyNodeに設定してSetUINT32を 'MF_TOPONODE_STREAMID'に設定すると、0を設定することで参照するストリームを選択し、 'MF_TOPONODE_STREAMID'が0より大きい（たとえば1）additional Pictureになるストリームを選択する必要があります。 位置はadditional PictureIMFVideoMixerControlで制御できます。次のメソッドを含みます。 GetStreamOutputRect - コンポジション矩形内のビデオストリームの位置を取得します。

GetStreamZOrder - ビデオストリームのzオーダーを取得します。

SetStreamOutputRect - コンポジション矩形内のビデオストリームの位置を設定します。

SetStreamZOrder - ビデオストリームのzオーダーを設定します。

Answer 3

MFCreateAggregateSource、またはSequencer Sourceでもビデオミキシングで問題なく動作するかもしれませんが、私が関与しているプロジェクトでは、MFCinkWriterアプローチに複数のMFSourceReaderを使用しました。この方法で、シンクライターにEVRを接続するか、出力ビデオをファイルに保存すると、混合ビデオコンテンツを表示できます。私が取り組んでいるプロジェクトでは、要件はmp4に出力するだけですが、後でプレビューサポートを追加する必要があります。この目的のために、私はEVR（またはDX11VideoRenderer）用とMP4シンク用の2つのシンクライターを使用する予定です。実装は非常に安定して動作します。これは、各ソースリーダーから読み取り、タイムスタンプと一致し、ビデオサンプルを混合し、混合ビデオサンプルまたはオーディオサンプル（1つだけ）をシンクライターに出力するビデオ混合スレッドを有する。お役に立てれば。