まずはじめになんですが、RekordboxLyricを現場で使うにあたって
現状RekordboxCreativePlanというものに入らざるを得ないんですが、
これにはRekordboxLyricだけじゃなくRekordboxVideoがついてきます。
CreativePlanが1500円なので400円くらいはVideoだと思う。使わなきゃもったいないの精神
せっかくなので、RekordboxVideoを同時に使う感じのDVJができたらな、の一方、
歌詞がベタのりしたりOnOffの切り替えがめんどくさかったりであんまりきれいに乗らない。次の曲の映像がネタバレするかも・・・ときに隠したい。
あと汎用素材重ねたいとか絵にエフェクトかけたいってこともあるかもですね。
そういうときスペックは要りますがRekordboxVideo＋RekordboxLyric＋ResolumeでなんとかDVJができます。
（Lyricは使えませんがSeratoVideoでも同様のことはできます）
ちなみに前の記事の組み合わせ技になります。
必要なもの
・映像端子が2つ以上のPC（できればゲーミングノート）
・DJ用コントローラー
・VJ用コントローラ（スペースの関係と機能上NanoKontrol2がおすすめ）
・HDMIケーブル
・ダミープラグ
RekordboxVideoは仕様上Spoutが飛ばない、つまり他のソフトに像を送ることができません。
なので、ダミープラグを使って投影先を作り、それをキャプチャして取り込む的な使い方をしていきます。
ダミープラグはこういうやつです。
なにをするかというとPCに「ディスプレイがあるよ」、と錯覚させる道具です。
もちろんモニターを用意してもいいんですが電源供給が必要だったりでいたずらに配線が複雑になるので電源のいらないダミープラグが便利かと思います。
これを実際に投影する端子と別の端子に挿してください（昨今のゲーミングノートだとMiniDisplayPortがあればそこがおすすめです）
使用ソフト
・Rekordbox→Creativeプランに加入してください
・Resolume （GrandVJやOBSでも可、ようはNDIが受信できるソフト）
・OnTopReplica
Resolumeの投影画面をリアルタイムでモニタリングするのに使います。
下図の赤枠みたいな感じでResolumeをモニターできます。MIDIコンの配置さえ覚えてれば制御画面開く必要ないのでDJに集中できます。
・NDI Screen Capture
(旧名：NDI Scan Convertor)
ダミープラグに投影した画面をResolumeに飛ばすのに使います。
NDIの導入手順は以下記事を参照してください。特に安定してプレイするにはローカルループバックアダプタを導入しとくといいかと。
動画編集ソフト。Rekordbox単体でここから再生してね！が難しいので動画と音声のずれが気になる人はこの手のソフトでPVMVなどはタイミング合うよう編集しときます。
具体的な手順（下準備）
はじめに注意ですが、コントローラーの関係上、ResolumeとRekordboxはResolumeを先に立ち上げましょう。
（Rekordbox先に立ち上げるとすべてのコントローラーが効かなくなる）
また、画面側のHDMIは設定終わってから接続をおすすめします。
（出力してる画面が分かりにくくなる）
1．動画と音声の尺を合わせる
背景素材の類を使う場合は尺合わせ必要ないんですがPVMV等の音声同期が効くものを合わせたいときはあらかじめ動画を編集しとく必要があります。
もちろん音声自体をクラブユースに差し替えた映像をあらかじめ作るのも手ですしそちらのほうが同期もしっかり行えるんですがぶっちゃけこの方法のほうが楽だと思います
だいたい冒頭の無音部とかを削れば合うものは合うはずです。
もし尺が違う！ってなったら切り貼りして調整しましょう。
音声は変になりますが、音声は普段DJで使用してるものを使うのでプレイに支障はありません。
A-B指定してCut-Copy-Pasteなどで編集しましょう。
注意点ですが、特に読み込み元ファイルが.mp4などの高圧縮率な動画の場合、切れる場所が決まっていて、細かく調整するのが難しいところがあります。
（圧縮の関係上キーフレームを補完する感じで再生するシステムになっているのでキーフレーム以外では切れない）
その場合はお手数ですが、AVI（MotionJPEG）などにエンコードしてからエディットするといいかと。
（あとぶっちゃけ背景系ならResolumeに読み込ませちゃった方がいいかも）
なお、動画に関してはRekordboxVideoの対応形式がかなり少ないことに注意です。
.mp4(H264)が無難かと思います。Resolume用のDXVとか、一部の動画にありがちな.mkvや.flvは再生してくれません。
2.Rekordboxでプレイリストを作成する
たくさんの音源が動画とリンクしてればプレイリスト組まなくてもいいと言えばいいのですが、動画のチェックもかねてプレイリストは作ったほうがいいかと思います。
（特にResolumeでプレイリスト型オペレーションする場合）
ただResolumeで背景合わせながらプレイするならおそらくプレイリストは組む形のプレイになると思います。
で、プレイリスト組む時ですが、こんな感じでフォルダを作り、音声用と動画用のリストを並べておくといいです。
というのは、動画を単体で読み込むとその動画の音声をDJソフトが流してしまうので、「音質悪くない？」って言われる原因になるからです。プレイ中間違えないためにも動画と音声のリストは分けておくことをお勧めします。
3.動画をRekordboxに登録して音源とリンクする
RekordboxVideoやSeratoVideoの特徴的な機能のひとつとして、DJ用の音源を読み込んだ時にこの動画を流してね、と指定することができます。これがLinkです。
注意なのですが、RekordboxVideoの場合、例えばエクスプローラーから直接動画を動画デッキに読み込むことができてもリンクができません。リンクするためにはライブラリに動画を登録する必要があります。
ちなみにエクスプローラーから動画をドラッグアンドドロップできる場所は3つありますが、どれも違う挙動を示すので注意が必要です。（今日のポイント1）
例えば事前に320kbpsなどの音声付きの動画を編集してきてその動画の音声をDJにのせたいのであれば1の場所に、動画を一時的に差し替えたいなどであれば2の場所に、Linkしたいなら3の場所にドラッグアンドドロップします。
今回はLinkしたいので3の場所にドラッグアンドドロップしてコレクションに登録します。さっきつくった動画プレイリストのほうに登録しとくといいかと。
音源とのリンクですが、音声を普段のDJプレイ同様にデッキに読み込み、コレクションから動画を2の場所にドラッグアンドドロップ、その後Linkボタンを押すとリンクされます。
動画と音声がリンクするとLINKマークが青く点灯し音声のほうにマークがつきます。
4.Lyricを取得しフォントを調整する
RekordboxLyricを使う場合は事前にLyricを取得しておくといいかと思います。
右クリック→歌詞の取得で取得できます。
セットリスト決まっている場合はこの時点でフォント（モーション）も調整しときましょう。右クリック→モーションでお好きなものを選んでください。
色についてはResolumeで拾うと白くなるので、ここでは特にこだわらなくてもいいかと。Resolume側での調整をおすすめします。
動画のリンク、およびRekordboxLyricの設定を済ませると曲のマークがこんな感じになります。
5.クロスフェーダーの挙動を設定する
クロスフェーダーを使用しないDJプレイをするのであればクロスフェーダーで音声が操作されないよう左右の1234のマークのところを外してAVSYNCにするとフェーダーをビデオ専用にできます。
人によってはTRANSITIONFXをADDIVEにして縦フェーダーだけでビデオを操作するのもありかもしれません。
複雑な組み方ができる方ならばTouchDeTouchDesignerを使ってMIDIコン信号を分け、VJコンの適当なフェーダーに割り当てるのも手かもです。
私はクロスフェーダーをDJのとき使わないので、曲が切り替わったときにクロスフェーダーを反対側に切る+ナノコンのボタンを一つ押すみたいな運用です
6.ダミープラグを接続して出力し、NDIScanConvertorで取り込む
ダミープラグをPCに差し、仮想画面を展開します。
右クリック→ディスプレイ設定から拡張モードにし、ダミーの画面を出します。
この状態でRekordboxの矢印バッテンマークを押すとダミープラグで表示してるところに映像が出力されます。
何も起こってないように見えますが、見えない画面に対してRekordboxくんが一生懸命画面を出力してくれてます。頑張れ。
次に、NDI Scan Convertorを立ち上げます。通常であればスタートメニューのNDI 4 Toolsとかの中にあります。
通常版とHX版がありますが安定する方で。起動するとタスクトレイアイコンに来ます。
これでRekordboxの画面がNDIに飛びます。
7.NDIで飛ばした映像をResolume等で拾う
6でうまく像が飛んでいればResolumeにNDI Serversが出現しているので、これをお好きなところにドラッグアンドドロップして構成を作ります。
以下の記事を参照していい感じの構成を組みましょう。
ちなみにですが、RekordboxLyricのSpoutはRekordbox側で表示が無効でも飛び続けています。+Rekordbox側で有効にしたうえでSpoutで載せてResolumeで投影すると歌詞が二重で乗るので基本的には表示：無効で運用するのをおすすめします（本日のポイント2）
実際運用するときも歌詞を入り切りしたり点滅したりするのに別々で扱ったほうが扱いやすいと思います。
これでお好きな構成を組みます。私の場合背景素材も曲に合わせて選んだりしたらこんな感じに。
人によっては映像の入り切りとちょっとしたエフェクトとか組んでおくだけでも。
Colorizeを適当なノブに振れば色調整がノブで行えるようになったり。BPMで歌詞を点滅させるだけでも普通に乗せるより見やすくなるかと。
お好みの構成が組めたら準備終わりです。
本番
設営のときにはいくつかポイントあります。
・Resolumeから立ち上げること
・HDMIをつなぐ前にダミープラグにRekordboxを出力しておく
・RekordboxLyricの表示を無効にしておく
・グラボの性能を引き出すためにACアダプターを忘れずに
実際Resolume立ち上げてRekordboxVideo立ち上げていろいろ・・・なので時間かかります。ワンオペでVJとDVJやるのは無謀なのでできればVJ複数いたほうがいいのは確か。
手順
ダミープラグを刺す→Resolume立ち上げる→Rekordbox立ち上げる→Lyricの表示を無効にする→ダミープラグの画面に画面出力→NDIScreenCaptureを立ち上げる→HDMIを刺す→ResolumeでHDMIに画面出力→OnTopReplicaを立ち上げる
の順です。繰り返しますがResolumeを先に立ち上げるという点がとても間違いやすいところなので気を付けてください。
OntopReplicaは立ち上げてResolume→Displayを選べばプレビューが乗ります。
プレイは設定にもよりますが、いつも通りDJプレイしつつ映像変わったらクロスフェーダーで切り替える感じですね。そのあとResolumeでカラム切り替えるためにボタン押してフェーダーで各素材を調整。曲変わる直前にはフェーダーで落としたりストロボで光らせたりお好きに遊んでもらえればと思います。
動画をいろいろ扱うので重くはなりますが、Resolumeで読み込む汎用素材はDXVエンコードする、素材は重ねすぎないなど工夫すればRyzen5、1650Ti、メモリ16GBクラスのPCでも特に問題なく動作しました。DJやりながらVJ・・・はなかなか難しいですが事前に準備してこればそこまで本番複雑なオペレーションしなくとも思い通りに映像を操れるかと思います。
この方法を使うと、下準備は必要ですがVideoやLyricがDJプレイに追従してくれるようになるのでかなり楽に、そして派手にDVJができるようになります！
映像のエフェクトとかも思い通りに動かせると映像と音声でフロアの雰囲気を一気に変えられるので、PCの要求スペックはやや高いかもですが挑戦してみてください！
余談：
RekordboxVideo/Lyricを立ち上げると「Cannot create DirectX/OpenGL interop」のメッセージが出たり歌詞が表示されないことがあります。Resolume使わなくても出ることがあります。
これはなぜかというと、RekordboxLyric自体がSpoutを内部で動かして内部で拾ってるような挙動をするからだと考えられます。
このSpoutというのはざっくり言うと映像の描画システムを共有するみたいな感じなんですが、ソフト1と2がどんなシステムで描画してるかにミスマッチが起きると表示されなかったりエラーが起きるみたいです。
例えば、今回の例で言うとRekordboxLyricを統合型グラフィックで、ResolumeをGPUで描画してたとしたらうまく飛びません。
ちなみに、Lyricを使わない場合でもrekordbox_outputというものがSpoutで飛んでます。
こいつが悪さをしたゆえのエラーみたいです。
主な対処法は以下のnoteが分かりやすいので、参照してください。
現象としてはVDJがResolumeに飛ばないときの現象にも似てるので、私の過去記事も参照してもらえれば。
私の設定ですが、RekordboxとResolumeを両方とも高パフォーマンスNVIDIAプロセッサにし、
SpoutSettingを以下の設定にしたらうまくいきました。
（DirectX 9→OFF)がポイント
もしエラーが出る、とかうまく描画できない、とかがある場合は
・GPUの設定
・SpoutSettings
を見直してみてください。
