話者フレーム

話者フレームノードは、編集の各カメラで、各話者の顔の位置を時間に沿って見つけます。結果は保存される顔トラックのファイルに書き込まれ、各カメラ自体の時間軸で、顔ごとのボックスが記録されます。顔のトラック出力は、そのファイルの概要を渡します。それを話者ビューの顔のトラック入力に接続するか、話者ビューで顔トラッキングを追加をクリックすると、各話者のクロップがその顔を追うようになります。

話者フレームには現在クレジットの価格が設定されていません。すべての実行は、料金がかかる前に「Speaker Frames はまだ価格が設定されていません。」というメッセージで拒否されます。ノード、設定パネル、実行ボタンにもそのことが表示されます。ノードの配置、接続、設定はできます。

話者フレームは Nodaro Cloud で動作します。セルフホスティング環境では、環境を Nodaro Cloud に接続してください。接続した環境は、サンプリングするカメラの小さな検出用コピーを作り、それだけを送ります。元のファイルは送りません。マスター音声と、チェックを外したカメラは一切送られません。現在、接続した環境からの実行は、「Speaker Frames is not available on a connected install yet」（接続した環境では、話者フレームはまだ使えません）というメッセージで拒否されます。

使いどころ

• ポッドキャストやインタビューのレンダリングで、フレーミングを各話者の顔に追従させたい。
• 編集プランやカメラ切り替えによるマルチカメラの編集があり、各カメラで各人がどこにいるかを知りたい。
• 編集なしで、1 本の動画の顔の位置を知りたい。

クイックスタート

入力

EDL と動画のどちらか一方だけを接続してください。両方を接続すると、料金がかかる前に実行が拒否されます。

出力

接続したセルフホスティング環境では、実行後に顔トラックのファイルが環境自体のストレージにコピーされ、ハッシュがもう一度確認されます。出力は、そのコピーを指します。

設定

ノードは、編集で残るものだけをサンプリングします。残る各区間と、その前後 2 秒ずつを、編集に映るすべての動画カメラで、毎秒 2 フレームでサンプリングします。サンプリングレートは固定です。残る映像が 180 分を超えるカメラは、料金がかかる前に拒否されます。

話者ラベルの修正

ノードは、各トラックの話者の修正を、トラック ID ごとに保持します。修正では、トラックのラベルを消すこともできます。修正は、話者ビューのフレーミングを編集…で設定します。そこでは各カメラの上に追跡した顔が描かれ、顔が誰かを選ぶと、その修正がこのノードに保存されます。設定パネル、キャンバス上の概要、話者ビューには、修正が反映されます。修正は文字起こし自体のラベルを保持するため、カメラ切り替えで話者の名前を変えると、修正も新しい名前に従います。顔のトラック出力は、修正を含まない、実行が書き込んだままの結果を渡します。新しい実行では、まだ見つかるトラックの修正が保持されます。新しい結果にトラックがなくなった修正はパネルに一覧表示されるため、修正が知らないうちに失われることはありません。

クレジット

話者フレームには現在クレジットの価格が設定されていません。すべての実行は「Speaker Frames はまだ価格が設定されていません。」というメッセージで拒否され、料金はかかりません。

ヒント

• マルチカメラの撮影では、先にカメラ切り替えを実行し、その名前付きの文字起こしを接続してください。トラックに、編集で使われている話者名が付きます。
• 不要なカメラのチェックを外す。 レンダリングでフルフレーム表示するクローズアップには追跡は不要です。カメラが少ないほど、サンプリングするフレームも少なくなります。
• 追跡の前に編集をカットする。 ノードは編集で残る映像だけをサンプリングするため、編集を詰めるほどサンプリングが速くなります。

トラブルシューティング

API から

POST /v1/speaker-frames は、edl または videoUrl のどちらか一方を受け取り、任意で transcript と excludeSourceIds を受け取ります。edl は、1 つの EDL、クリップのセット（EDL の配列）、またはクリップセットで、オブジェクトまたは JSON 文字列です。excludeSourceIds には、チェックを外したカメラを並べます。完了したジョブの output_data.json が、顔トラックのファイルの概要です。

次のリクエストは、料金がかかる前に拒否されます。

セルフホスティング環境では、Nodaro Cloud に接続していない場合、または Nodaro Cloud が環境の接続を拒否した場合、このルートは 503 nodaro_connection_required を返します。連携から接続し直してください。Nodaro Cloud が接続した環境からの実行を受け付けていない間、または Nodaro Cloud に到達できない間は、503 speaker_frames_relay_unavailable を返します。環境が作った検出用コピーが、中継で送れる 500 MB を超える場合、ジョブは失敗し、そのカメラを示します。残す映像を減らすか、そのカメラのチェックを外してください。

GET /v1/speaker-frames/capabilities は { relay, source } を返します。このサーバーが、接続したセルフホスティング環境から中継された話者フレームのジョブを実行するかどうかを示します。source は server、nodaro.ai、nodaro.ai-unreachable、nodaro.ai-rejected、not-connected のいずれかです。単体のノードを実行するとジョブを参照してください。