iOSでGPUを使用して別の画像（ビデオフレーム）に1つの画像を重ねる

Question

私はアプリで画像処理を行っています。ライブビデオを撮影し、その上に画像を追加してオーバーレイとして使用します。残念ながら、これは、プログラムの他の部分が遅くなり、意図したとおりに動作しないようにするために大量のCPUを使用しています。基本的に、私は次のコードをCPUの代わりにGPUを使用したいと思っています。順番に

- (UIImage *)processUsingCoreImage:(CVPixelBufferRef)input { 

    CIImage *inputCIImage = [CIImage imageWithCVPixelBuffer:input]; 


// Use Core Graphics for this 
UIImage * ghostImage = [self createPaddedGhostImageWithSize:CGSizeMake(1280, 720)];//[UIImage imageNamed:@"myImage"]; 
CIImage * ghostCIImage = [[CIImage alloc] initWithImage:ghostImage]; 

CIFilter * blendFilter = [CIFilter filterWithName:@"CISourceAtopCompositing"]; 
[blendFilter setValue:ghostCIImage forKeyPath:@"inputImage"]; 
[blendFilter setValue:inputCIImage forKeyPath:@"inputBackgroundImage"]; 

CIImage * blendOutput = [blendFilter outputImage]; 

EAGLContext *myEAGLContext = [[EAGLContext alloc] initWithAPI:kEAGLRenderingAPIOpenGLES2]; 
NSDictionary *contextOptions = @{ kCIContextWorkingColorSpace : [NSNull null] ,[NSNumber numberWithBool:NO]:kCIContextUseSoftwareRenderer}; 
CIContext *context = [CIContext contextWithEAGLContext:myEAGLContext options:contextOptions]; 

CGImageRef outputCGImage = [context createCGImage:blendOutput fromRect:[blendOutput extent]]; 
UIImage * outputImage = [UIImage imageWithCGImage:outputCGImage]; 
CGImageRelease(outputCGImage); 

return outputImage;} 

Answer 1

最大のパフォーマンスの問題は、各フレームあなたがCIContextEAGLContextとを作成することです。これは、processUsingCoreImageメソッドの外部で1回だけ実行する必要があります。また

あなたの代わりにあなたがこのようEaglLayerに直接レンダリングすることができ、処理ので、CPUをコアグラフィックス画像（createCGImage）を作成するので、CPU-GPUの往復を避けたい場合：

[context drawImage:blendOutput inRect: fromRect: ]; 
[myEaglContext presentRenderBuffer:G:_RENDERBUFFER]; 

Answer 2

提案：

1. は、あなたが実際には2枚の画像を合成する必要がありますか？ AVCaptureVideoPreviewLayerのUIImageViewが不十分ですか？次に、現在のゴースト変換を画像ビュー（またはそのレイヤー）に適用して、コンポジットに2つの画像を貼り合わせてGPUを使用させます。
2. もしそうでなければ、最初のコールポートはCoreImageでなければなりません。GPUイメージ操作を比較的簡単なSwift/Objective-Cパッケージにまとめます。シンプルなコンポジションフィルターがありますので、2つのものをCIImageにして-imageByApplyingTransform:を使ってゴーストを調整するだけです。
3. これらの両方に問題がある場合は、OpenGLソリューションを検討しています。具体的には、CVOpenGLESTextureCacheを使用してコアビデオフレームをGPUにプッシュすると、ゴーストはそこに永続的に存続します。あなたがまだしていない場合は、から始めて、GLKBaseEffectを調べて、GLSLを知る必要がないようにしてください。あなたがする必要があるのは、いくつかの頂点をパッケージ化し、描画呼び出しを行うことだけです。