iOS上でCoreMedia.frameworkを使用してビデオをデコード

Question

私はmp4ファイルをデコードし、iOSアプリケーションでOpenGLを使用して描画する必要があります。私はmp4ファイルからh264フレームを抽出してデコードする必要があり、CoreMediaを使って何ができるか聞いた。誰もそれをどうやって考えているのですか？ CoreMediaの使用例は？

Answer 1

あなたが探しているコアメディアではなく、AVFoundationです。特に、AVAssetReaderを使用してムービーからロードし、フレームを反復処理します。これらのフレームをOpenGL ESテクスチャとしてアップロードするには、glTexImage2D()または（iOS 5.0の場合）もっと速いテクスチャキャッシュを使用します。

これを独自に実装したくない場合は、私のGPUImageフレームワーク内でOpenGL ES経由でAVFoundationベースのムービーの読み込みと処理を行っています。 GPUImageMovieクラスは、ムービーの読み込みとテクスチャへのアップロードのプロセスをカプセル化します。独自のシーンで使用するためにそのテクスチャを抽出する場合は、GPUImageTextureOutputをそのシーンに連結できます。これらのクラスの両方の例は、フレームワーク配布内のSimpleVideoFileFilterサンプル・アプリケーションとCubeExampleサンプル・アプリケーションにあります。

これは直接使用することもできますし、GPUImageMovieクラス内でこれらの同じ操作を実行するために書いたコードを参照することもできます。