よく聞かれる話題なのですが一応最初にVJはじめるにあたっての形式の話をちょっとアマチュアVJ視点でしときます。
ちなみにですが主催やDJさんが動画(オリジナルのMVやパーティ専用動画・ロゴモーション等)をVJさんにわたすときにも形式は意識しないとせっかく作った動画がうまく扱えないことがあります。
サプライズ心はあってもいいですが動画を渡したいとか扱ってほしいいときは事前打ち合わせを忘れないでください。
結論から。
2022年時点では…
【VirtualDJ/RekordboxVideo用の汎用素材・決まった曲で出すMV等】
.mp4(コーデックH264/AVC)
【Resolume/grandVJ用の汎用素材】
.mov(コーデックDXV またはhap)
【VDMX用の汎用素材】
.mov(コーデックhap)
が当ブログおすすめの形式となります。プロレベルや映像制作、コンサートやライブ等だとまた変わってきますがとりあえずはアマチュアレベルの即興対応型VJならこんな感じ。
ちなみにわたしの失敗例です。
・一部の動画を.mp4(AV1)で保存してて読み込んだら真っ黒になってしまった
・.mp4(H264)をResolumeで大量に読んだら重くて落ちた
・一部の素材を.mkvで作成してしまったがためにVDMXやRekordboxVideoで読み込めなかった
あと今後のムーブメントで起こることで心配なのが、
・OBS Studioで録画した動画が.mkv(AV01)がデフォルトでふだん使ってるVJソフトで扱えない
ことです。ビデオレターや動画出演・回線環境が難しいときのVTuberさん出演などさまざまなところで動画形式に関する問題が起こる可能性があります。
Resolume向けのDXVの話は別記事にて。
動画形式わからない人向けに最初の最初のお話。
用語としてコンテナとコーデックは知っといてもいいかもしれません。
私も混同しがちではありますが
コンテナ→拡張子(.mp4、.avi、.mov、.mkv等)で示される動画と音声の入れ物
コーデック→圧縮方式(H264、H265、AV01、hap、DXVなどなど)
と言えます。コンテナごとに入れられるコーデックが違かったり記述できる情報が違う、あと使えるソフトが違うというのがひとつのポイントです
つまりそれぞれのVJソフトに対応したコンテナ+コーデックを使用しないと再生できなかったり画面が黒くなることがあります。
あとで表でまとめるのですが例えばVDMXでコンテナが.mkv形式のものは再生できなかったり、昔のVerのVirtualDJではコンテナが.mp4でもコーデックがH265やAV01だと音声は再生できても画面が黒くなることがあります。
コーデックはMediaInfoで見ることができます。インストールしておくと動画受け取ったけど読めない・・・?なときに下の表と照らし合わせて対応がわかるので特に動画を受け取ったり頻繁に更新したりする人は入れとくといいと思います
動画圧縮の簡単な仕組みについて。
詳しい原理は割愛するのですが、
必要な情報を削ぎ落としたり、動きの少ないコマをまとめたり、動画を推定したりするような処理の準備を圧縮時にPCで行います。
動画の再生はこの圧縮された動画を一生懸命処理しながら行います。つまるところ基本的な考え方としては「複雑な圧縮を行うほどPCに負荷がかかる」と思ってもらえればです。(効率的な圧縮・再生方法については日々研究が進んではいますが・・・)
.mp4(H264)などは何気なく使っていますが効率的な圧縮がされた形式なのです。
言い忘れてましたがH264はAVCとも呼ばれます。
詳しく知りたい人は以下のサイトがわかりやすいかもです。
これを踏まえてVJにおいて重要な点をいくつか。
・私たちが普段いろんなデバイスで再生してて普及してるコーデックはH264(H265もあるけど…)が多い(H264はAVCと呼ばれることもあります)
・汎用性が高い&圧縮率が高い一方、複雑かつ動画の流し見に適したタイプの圧縮を行っているので再生するときにマシン負荷がかかる
・H264は統合グラフィックでの処理負荷がかかる形式である。つまり再生時CPUに負荷がかかる
(単体グラフィックに割り振ればもう少しCPU負荷を落とせるかも・・・)
・逆再生やスロー再生・倍速再生には適さない
という特性があります。
VirtualDJや各種DVJソフト等で2-4つくらい再生するならまだしも、映像演出や動画編集時の素材としてこのまま使うと過剰な負荷がかかる可能性があります。
つまり、このH264等の圧縮形式は
普通の人は動画を4つ同時に再生しない。速度を1.5倍とかにしない。2秒くらいの動画を何周も再生しない。頻繁に頭から再生しない。
という前提で作られてます。
そこで、VJソフト等で使うには再生が軽量、かつVJで行う特殊な再生(速度変化や頻繁な頭出し)がしやすい形式が必要になります。
そこでDXV/hapだ!
これらの形式ですが、
・H264等の形式より圧縮率は低い(容量が大きい)
・動画の倍速再生・ループ再生やスロー再生については.mp4よりは強い
・キーフレーム等の概念が厳しくない
・グラフィックボードによる再生支援が可能(動画再生の負荷をCPUとビデオカードに分散できる)
という特徴があります。
ただし容量が大きい=ストレージからの読み書きに時間と負荷がかかるということなので、できれば読み書きが早いストレージに入れて運用することをおすすめします。(SSD等)
ということで
・大量に保管するMV等の動画以外はVJソフトに対応した形式に変換しておくと再生が軽くなる可能性がある
・VJソフトに非対応のコーデックと形式がある
・DJ等が動画を持ち込むときはVJに動画の形式の確認が必要
→.mp4(H264)が無難ではある (AV01とかH265は避けたほうが無難かも・・・)
という点は覚えておくといいかもしれません。
以下に普段使われる代表的な動画形式とその対応についてまとめてみました。(2022年10月時点)
コンテナ・拡張子と各ソフト対応状況(2022年時点) | ||||||||||
mp4 | mov | avi | mpg | m4v | mkv | flv | webm | m2ts | ts | |
VDMX | ○ | ○ | △ | ○ | ○ | × | × | × | × | × |
Resolume | ○ | ○ | ○ | ○ | × | × | × | × | × | × |
GrandVJ | ○ | ○ | ○ | ○ | ○ | ○ | ○ | × | × | × |
VirtualDJ | ○ | ○ | ○ | ○ | ○ | ○ | ○ | ○ | ○ | ○ |
RekordboxVideo | ○ | ○ | ○ | ○ | ○ | × | × | × | × | × |
SeratoVideo | ○ | ○ | ○ | ○ | ○ | × | ○ | × | × | × |
VDMXでAVIは読みますが再生できませんでした。コーデック入れれば再生できるかもしれません
コーデックと各ソフト対応状況(2022年時点) | ||||||||
H264/AVC | H265/HEVC | AV01 | mpeg-4 | mpeg-2 | MotionJPEG | DXV | hap | |
VDMX | ○ | ○※ | ○ | ○ | ○ | ○ | × | ○ |
Resolume | ○ | × | × | ○ | ○ | ○ | ○ | ○ |
GrandVJ | ○ | × | × | ○ | ○ | ○ | ○ | ○ |
VirtualDJ | ○ | ○※ | ○※ | ○ | ○ | ○ | ○ | ○ |
RekordboxVideo | ○ | × | × | ○ | ○ | × | × | × |
SeratoVideo | ○ | × | × | ○ | × | ○ | × | × |
※は対応したのが最近のためVerによっては読み込めない |
↑このサイトでサンプルがあるので各種VJソフトに読み込んでテストが可能です
VirtualDJはだいたいの動画を読めましたがコーデックパック入ってたからかもしれません。
H265やAV01など先進的なコーデックもありますが、VJソフトにおいては更新をすると不安定になったり一部スキンが使えなくなったりすることがあるので基本的にはアマチュアVJ領域でばH264が一番対応しているソフトが多いことになります。
注意点がいくつかあって、ResolumeAlleyで簡便に変換できるDXVについてですが使用できるソフトが少ない&簡便に他の形式に変換するのが難しいです。
例えばResolumeが落ちたときVirtualDJで再生する、VJソフトを乗り換える、RekordboxVideoで再生するなどのときに苦戦を強いられることになります。
なのでいわゆる汎用素材についてはそれぞれのVJソフトに対応した形式(hapやDXV)と、もともとの形式(圧縮形式)両方で保存しておくことを強くおすすめします。
ということで不足はあるかもですが覚えておくと役に立つかもしれない?動画形式についてのお話でした。