MiniMax H3で参照動画がつながらない|ref_video_0はGet Video Componentsで画像にしてから

AI動画・プロンプト

この記事について(広告・アフィリエイトリンクはありません)

試した環境の一覧は検証の記録にあります。

MiniMax H3 の「Reference to Video」に参照動画がつながらないのは、ref_video_0 が「動画(VIDEO)」ではなく「画像の束(IMAGE)」を受け取る入力だからです。Load Video の出力を Get Video Components で画像と音声に分けてから、images を ref_video_0 に、audio を ref_video_audio_0 につなぎます。

正しくつなぐと、参照動画と同じ道・同じ歩く速さ・同じ構図のまま、季節や服だけを変えた動画ができました。所要時間は10分ほど、難しさは初心者向けです。

先に結論(今回のテスト条件で)

つなぎ方結果
Load Video → ref_video_0(直接)実行前に止まる。「VIDEO と IMAGE の型が合わない」
Get Video Components の images → ref_video_0、audio → ref_video_audio_0動く。構図・道・歩く速さが参照に沿った(4ステップで60秒)
参照なし(文字だけ)動く。並木の並びや人の位置は別物になった(17秒)
30fps の動画をそのまま参照動く。24fps として読まれるので、歩きが少しゆっくりになった

迷ったら

入力の色を見ます。ref_video_0 は画像(IMAGE)と同じ色です。動画の出力(VIDEO)を直接つなげない入力は、Get Video Components で分けてからつなぎます。

エラーの内容

Load Video の出力(VIDEO)を、そのまま ref_video_0 につないで実行すると、生成の前に次のように止まりました。画面では、線をつなごうとしてもつながりません。

実行時のエラー。ref_video_0 は IMAGE を受け取るのに VIDEO が来た、と出ている
実行時のエラー。ref_video_0 は IMAGE を受け取るのに VIDEO が来た、と出ている

ref_video_0 の説明(ツールチップ)には「24fps の参照動画のフレーム(2〜15秒)」とあります。動画ファイルではなく、フレームを並べた画像の束を渡す入力です。

正しいつなぎ方

  • Load Video:参照にしたい動画を読み込む(出力は VIDEO)
  • Get Video Components:VIDEO を images(画像の束)、audio(音声)、fps に分ける
  • images → ref_video_0、audio → ref_video_audio_0:番号をそろえてつなぐ
  • プロンプトでは、参照動画を <Video 1>、その音声を <Audio 1> と呼ぶ
  • モデルは fl2va ではなく ref2va を使う

ComfyUI の公式ドキュメントによると、映像と音声は別々の参照として扱われ、ref_video_audio_N を ref_video_N に合わせてつながないと、動画の音は使われません。参照は画像9つ、動画3つ、単独の音声3つまでです。

参照動画を使うとどう変わる?

秋のイチョウ並木を歩く5秒の動画を参照にして、「同じ道を同じ速さで、真冬の雪の中、赤いコートで」と書きました。

上から、参照動画、参照あり(24fps)、参照あり(30fps の動画をそのまま)、参照なし。参照ありは並木の並びと歩く位置がそろっている
上から、参照動画、参照あり(24fps)、参照あり(30fps の動画をそのまま)、参照なし。参照ありは並木の並びと歩く位置がそろっている

参照ありでは、並木の並び方、道の幅、歩いてくる位置と大きさ、手に持ったバッグまで、参照動画に沿いました。参照なしでは、雪の並木道にはなりましたが、人物は遠く、構図は別物でした。

時間は、参照なしの17秒に対し、参照ありは60秒でした(4ステップ、モデルの読み込み後)。参照動画のフレームも毎回の計算に加わるためです。

30fps の動画は24fps に直してから

ドキュメントには「参照動画はメタデータなしで24fps として読まれる。ほかのフレームレートは先に24fps に変換する」とあります。30fps に変換した同じ動画を参照にすると、生成は通りましたが、歩きが少しゆっくりになり、5秒目の位置が手前まで来ませんでした。30fps の5秒は150フレームで、24fps として読むと約6.3秒分の動きになるためです。

ffmpeg -i input_30fps.mp4 -vf fps=24 output_24fps.mp4

「Duration ノードを消したら戻せない」とき

フォーラムには、テンプレートの長さ(秒)を決めるノードを消してしまった、という相談もありました。H3 の長さは、Reference to Video の length(24fps のフレーム数)で決まり、テンプレートでは秒数から「17の倍数+5」に丸める計算ノードがつながっています。消してしまった場合は、length に直接 124(約5秒)などの値を入れれば動きます。

よくある質問(FAQ)

Q. H3 の ref_video_0 に動画がつながらないのは?

ref_video_0 は画像の束(IMAGE)を受け取る入力だからです。Load Video の出力を Get Video Components で分け、images をつなぎます。

Q. 参照動画の音を使うには?

Get Video Components の audio を、同じ番号の ref_video_audio_0 につなぎます。つながないと音は使われません。

Q. 30fps の動画は使える?

使えますが、24fps として読まれるので動きが遅くなります。ffmpeg などで24fps に変換してから読み込みます。

まとめ

参照動画がつながらないのは、動画をそのまま渡す入力ではないためでした。分けてからつなぐだけで、参照の構図と動きを引き継いだ動画が作れます。

Load Video → Get Video Components → images と audio を番号どおりに。動画は24fps で。

この記事の検証環境

RTX 5090(32GB)/ Windows 11 / ComfyUI 0.43.2 / MiniMax H3 ref2va pruned int8 + Ref2V Turbo 4step LoRA v0.1 / 2026年11月7日
これまでの検証の一覧はこちら

検証メモ

  • 設定:864×480、124フレーム(約5秒)、4ステップ、euler/simple、シード 5。参照動画は、当サイトの記事で H3 で作った 864×480・24fps の5秒の動画です。
  • 時間:参照ありの1回目(320秒)はモデルの読み込みを含みます。表の60秒は、30fps の参照で2回目に実行したときの値です。
  • 試していないこと:参照動画を2つ以上、参照画像との組み合わせ、15秒を超える参照、VideoHelperSuite の Load Video。

参考リンク

この記事を書いた人
こまたろ

画像生成 AI に興味を持ったのがきっかけで、3年ほど前から ComfyUI を触っています。始めたころは今ほど情報がそろっておらず、何時間もかけて整えた環境が翌日のアップデートで動かなくなったこともありました。

KOBO Lab は、自分の学び直しと、これから ComfyUI を始める人が同じところでつまずかないようにと思って始めたサイトです。初心者も中級者も、迷ったときに開くサイトを目指しています。

検証は、RTX 5090 を積んだ自作 PC 1台で、実際に動かして確かめています。作業を楽にするための自作ツールも作っています。

記事は、運営者自身の経験と検証をもとに、Claudeで下書きを作り、GrokボットとMuseでも添削や確認をして仕上げています。

KOBO Lab の新しい記事を受け取る
AI動画・プロンプトComfyUI
KOBO Lab の新しい記事を受け取る
タイトルとURLをコピーしました