リライティングと差し替え
クリップ自体のピクセル、マスク、リファレンス画像をもとに、被写体のライティングを変えたり、背景を差し替えたりスタイルを変えたり、新しい要素を動画に合成したりします。
リライティングと差し替えノードは、元動画自体のピクセルをもとに、動画のライティングを変え、その一部を差し替えたり、スタイルを変えたりします。ノードには、動画、残す部分を示すマスク、新しいルックを示すリファレンス画像またはプロンプトを渡します。モデルは新しい要素を生成し、残した被写体のライティングをそれに合わせて変えます。そのため、1 つのノードで、被写体のライティングの変更、背景の差し替えやスタイル変更、シーンへの新しい要素の合成ができます。
このノードは Beeble SwitchX で動作します。結果の横に、技術提供:SwitchX · Beeble という表示が出ます。
使いどころ
- 被写体のライティングを、新しい環境や別の時間帯に合わせます。
- 被写体の動きや外見はそのままに、背景を変えます。
- リファレンス画像にある新しい要素を、シーンの一部として取り込みます。
- 手で描いたマスクや生成したマスクに沿って、1 つの要素を正確に差し替えます。
クイックスタート
ノードを追加する
キャンバス上で Tab を押し、動画 › 延長とスタイル変更 › リライティングと差し替えを選びます。
動画を接続する
クリップを元動画入力に接続します。長さは 240 フレーム以下(30 fps で約 8 秒)にしてください。
リファレンス画像を接続する
新しいルックを示す画像を、リファレンス入力に接続します。たとえば、夕暮れのビーチの写真です。リファレンス画像は任意ですが、品質を最も大きく左右する要素です。
モードを選ぶ
設定パネルを開きます。まずは、マスクの要らない自動:被写体をマスクから始めてください。リライティングと合成フォルダーのプリセットを選ぶこともできます。
実行する
ノードの実行をクリックします。ライティングを変えた動画がノード上に表示されます。
入力
| 入力 | 接続できるノード | 説明 |
|---|---|---|
| 元動画 | 動画アップロード、動画生成などの動画ノード | 変換する動画です。必須です。 |
| リファレンス | 画像アップロード、画像生成などの画像ノード | 目標とするビジュアル、つまり新しいルックです。任意ですが、強くおすすめします。 |
| プロンプト | テキスト系ノード | 結果の説明です。プロンプトを接続すると、設定パネルに入力したプロンプトの代わりに使われます。 |
| マスク | マスク生成、マスクを描画などの画像ノードとマスクノード | 選択モードで表示されます。1 つのキーフレームの、グレースケールのマスクです。 |
| マスク動画 | 動画ノード | カスタムモードで表示されます。フレームごとのアルファマットの動画です。 |
出力の動画は、ライティングを変えた、または合成し直したクリップです。マットは出力されません。
設定
| 設定 | 説明 |
|---|---|
| モード | マスクの作り方です。デフォルトは自動:被写体をマスクです。4 つのモードを参照してください。 |
| プロンプト | 目的のルックの説明で、最大 2,000 文字です。あわせて、リファレンス画像を接続することを強くおすすめします。 |
| キーフレーム番号 | 選択モードのみ。マスクが表しているフレームで、0 から数えます。モデルは、このフレームからクリップ全体にマスクを広げます。デフォルトは 0 です。 |
| 解像度 | 720p または 1080p(デフォルト)です。 |
| シード(任意) | 結果を再現できるようにする、0〜4,294,967,295 の数値です。空欄にすると、ランダムなシードが使われます。 |
| 前後のテキスト | プロンプトの前後に必ず追加されるテキストです。ワークフローをアプリとして使う人には表示されません。プリセットは、その指示をここに保存します。プロンプトの前後のテキストを参照してください。 |
4 つのモード
| モード | マスク入力 | 説明 |
|---|---|---|
| 自動:被写体をマスク | なし | モデルが前景の被写体を見つけてマスクします。被写体のライティングを変え、背景のスタイルを変えるか、背景を差し替えます。 |
| 全体:フレーム全体のスタイルを変更 | なし | モデルはシーン全体を保ったまま、リファレンスまたはプロンプトをもとに、フレーム全体のスタイルを変えます。 |
| 選択:キーフレームのマスク | マスク画像 1 枚 | 1 フレームのグレースケールのマスクを用意すると、モデルがそれを動画全体に広げます。 |
| カスタム:マット動画 | マット動画 | フレーム単位で正確に制御するために、フレームごとのアルファマットの動画を用意します。 |
ライティングの変更や背景の差し替えには、まず自動を使ってください。選択やカスタムは、残す部分を正確に制御したい場合にだけ使います。選択用のマスクは、マスク生成ノードで作るのが最も簡単です。たとえば、the person という説明を使います。マスクを描画で、マスクを手で描くこともできます。
プリセット
ノードのプリセットメニューにあるリライティングと合成フォルダーには、よくある作業ごとに 1 つずつプリセットがあります。
| プリセット | モード | 説明 |
|---|---|---|
| 被写体のリライティング | 自動 | 被写体をマスクし、リファレンスに合わせてライティングを変えます。 |
| 背景の入れ替え | 自動 | 被写体を残して背景を差し替え、なじむように被写体のライティングを変えます。 |
| シーン全体のスタイル変更 | 全体 | マスクを使わずに、リファレンスまたはプロンプトをもとに、フレーム全体のスタイルを変えます。 |
| マスク合成 | 選択 | 1 フレームのマスクで、正確に制御します。マスク生成ノードを接続してください。 |
| フレーム単位のマット | カスタム | アルファマットの動画で、フレームごとに厳密に制御します。 |
各プリセットは、指示をノードの前後のテキストに保存します。そのため、プロンプトは自分で書き足すために空けておけます。指示とリファレンスは、好みに合わせて調整してください。プリセットを参照してください。
制限
- 長さ:最大 240 フレーム(30 fps で約 8 秒)です。
- サイズ:1 フレームあたり最大 2,770,000 ピクセル(約 1080p)です。
- 形式:H.264 または HEVC でエンコードされた、MP4 または MOV です。
フレーム数の上限を少しだけ超える、約 270 フレームまでのクリップは、自動で 240 フレームにトリミングされ、240 フレームの料金で課金されます。上限を大きく超えるクリップや、約 2.77 メガピクセルより大きいクリップでは、ノードにオレンジ色の警告が表示されます。実行する前に、動画のトリミングでクリップを短くするか、解像度を下げてください。
クレジット
料金は、30 フレーム(約 1 秒)ごとのブロックで数えたクリップの長さと、出力の解像度で決まります。1 ブロックの料金は、720p で 55 クレジット、1080p で 165 クレジットです。
| 長さ | 720p | 1080p |
|---|---|---|
| 30 フレームまで(約 1 秒) | 55 | 165 |
| 60 フレームまで(約 2 秒) | 110 | 330 |
| 90 フレームまで(約 3 秒) | 165 | 495 |
| 120 フレームまで(約 4 秒) | 220 | 660 |
| 150 フレームまで(約 5 秒) | 275 | 825 |
| 180 フレームまで(約 6 秒) | 330 | 990 |
| 210 フレームまで(約 7 秒) | 385 | 1,155 |
| 240 フレームまで(約 8 秒) | 440 | 1,320 |
クリップは、またがるブロックの数で課金されます。たとえば、144 フレームのクリップは 5 ブロックにまたがるので、1080p では 825 クレジットです。実行前の料金は、ノードの解像度での 240 フレームの料金で、720p では 440 クレジット、1080p では 1,320 クレジットです。実行前にはフレームを数えないためです。これは、1 回の実行でかかりうる最大の額です。ノード、実行ボタン、ワークフローの見積もり、実行前のクレジットの確認、アプリに表示される料金にはこの額が表示され、ワークフローの実行でもこの額が確保されます。ノードを単独で(実行ボタンや API から)実行すると、まずクリップを測定し、その段階の額を確保します。正確な料金は、実行の開始時にクリップの実際のフレーム数から計算されます。
ヒント
- できる限りリファレンス画像を接続する:品質を最も大きく左右する要素です。
- 元の動画は短くする:ライティングを変える前に、必要な場面だけにクリップをトリミングします。
- プリセットから始める:プリセットは、作業ごとに調整済みの出発点になります。
- 比較するときはシードを固定する:シードを設定しておけば、リファレンスやプロンプトだけを変えて、結果を公平に比較できます。
- 結果に有効期限はない:結果は、ほかのすべての結果と同じように、ライブラリに保存されます。
よくある質問
「リライティングと差し替え」ノードにマスクは必要ですか?
「自動」モードと「全体」モードでは不要です。「自動」は前景の被写体を自動でマスクし、「全体」はシーン全体を保ちます。「選択」モードにはキーフレームのマスク画像が 1 枚、「カスタム」モードには全フレーム分のマット動画が必要です。
動画はどのくらいの長さまで使えますか?
最大 240 フレーム(30 fps で約 8 秒)で、解像度は約 1080p までです。それより少しだけ長い、約 270 フレームまでのクリップは自動でトリミングされ、240 フレームとして課金されます。
「リライティングと差し替え」ノードの料金はいくらですか?
料金は、30 フレーム(約 1 秒)ごとのブロック単位で計算されます。1 ブロックの料金は 720p で 55 クレジット、1080p で 165 クレジットです。そのため、上限の 240 フレームのクリップを 1080p で処理すると 1,320 クレジットかかります。
「選択」モード用のマスクはどうやって作りますか?
「the person」(人物)のような説明を入れた「マスク生成」ノードを、「マスク」入力に接続します。モデルが、その 1 フレームのマスクをクリップ全体に広げます。
同じ結果をもう一度得られますか?
はい。「シード」を設定し、入力を同じにしてください。「シード」を空欄にすると、実行のたびに新しいバリエーションが得られます。
関連ページ
マスク生成
動画から動画
動画のトリミング
マスクを描画
プリセット
最終更新