ビデオ字幕のビデオからフレームを抽出する基準

Question

ビデオ字幕の場合、ビデオフレームをリカレントニューラルネットワークに入力する必要があります。ビデオが提供されている場合、フレームサンプリングレートや画像解像度要件など、フレームを抽出するための標準基準は何ですか？

ビデオキャプションを作成するときは、入力として保存した動画のすべてのフレームを最初に抽出するか、または同じ時間にフレームを抽出して抽出しますか？

Answer 1

キャプションと字幕は一般的に動画とは別のファイルに保存されているため、直接ビデオストリームには追加されません。また、ほとんどのビデオコンテナ（MP4ファイルなど）に別々のビデオトラックとオーディオトラックがあることにも注意してください。

追加するキャプションのタイプによって、キャプションが簡単な説明的なメモの場合など、アプローチが異なる場合があります。エディタが選択するビデオの任意の場所に手動で追加されることがよくあります。

キャプションが音声のトランスクリプトを提供するのであれば、明らかにオーディオおよびビデオストリームと整列する必要があり、一般にオーディオストリームから生成され、タイムスタンプを使用します。

ありキャプションの複数の異なる規格が異なる領域に、異なる展開であるが、最も一般的なのいくつかは、次のとおりです。どんな

• SMPTE-TT
• TTML
一般

、フォーマットでは、キャプション（必要に応じて）をビデオの任意のフレームと関連付けます。つまり、プレーヤーが特定のキャプションで特定のビデオフレームをリンクできるようにするタイムコードです。