Audio Queue Servicesでオーディオを同期するための提案？

Question

オーディオトラックが付いたビデオフォーマットを別のファイルにデコードしています。スペックごとに、1/75秒ごとに1フレームのビデオをレンダリングします。また、ビデオファイルの長さは、オーディオトラックの長さと同じです。

オーディオキューサービス（私は、私が遭遇している状況のような正確なタイミング制御が必要な状況があると考えていたので、これを選択しました）でオーディオを再生しています。それは大きなAPIであり、アップルのプログラミングガイドのサンプルコードをずっと進歩させていません（ただし、ObjC APIをよりうまく実装しています）。

理想的な状況では、基本的な再生設定で問題なく動作します。ビデオとオーディオは同期したままで、両者は同時に終了します（私自身の違いを伝える能力の範囲内で）。しかし、パフォーマンスの悪影響（または私がLeaks Instrumentや何かをつける）が起これば、彼らはすぐに同期が外れます。

これは私がこれまで何かを書いた初めてのことです：私は、音や映像に関する以前の経験はありません。 Audio Queue Servicesの経験はありません。だから私はここからどこに行くのか分からない。

このようなことをしましたか？あなたはいくつかのアドバイスやヒントやトリックを提供していますか？私が読む必要があるいくつかの基本的な文書がありますか？どんな助けでも大歓迎です。

Answer 1

まず、このようなコードは実際にはコード化されていないので、私はヒップから撃っています。また、私はHALとAUHALでかなりの量のプログラミングを行ってきましたが、AudioQueueでは決して使っていませんでしたので、私のアプローチはAQを使用する最良の方法ではないかもしれません。

明らかに、最初に決定するのは、オーディオをビデオに、ビデオをオーディオに同期するかどうかです。質問から、あなたはビデオがマスターになり、オーディオがそれに同期するはずだと判断したようです。

私は、レンダリングされたビデオのフレーム数とフレームレートを追跡することでこれにアプローチします。次に、オーディオバッファをエンキューするとき、startTimeに単調に増加する値を渡すのではなく、ビデオで観察される不連続点に一致するようにバッファの開始時間を調整します。あなたのオーディオがどこから来ているのか、それをエンキューしているのか正確にはわからないので、少し曖昧ですが、その原則ははっきりしています。