화자 프레임

화자 프레임 노드는 편집의 모든 카메라에서 각 화자의 얼굴이 시간에 따라 어디에 있는지 찾습니다. 결과는 저장된 얼굴 트랙 파일에 기록되며, 각 카메라 자체의 시간 기준에 따른 얼굴별 박스가 담깁니다. 얼굴 트랙 출력은 그 파일의 요약을 전달합니다. 이 출력을 화자 뷰의 얼굴 트랙 입력에 연결하거나 화자 뷰에서 얼굴 추적 추가를 클릭하면, 각 화자의 크롭이 얼굴을 따라갑니다.

화자 프레임에는 현재 크레딧 가격이 없습니다. 모든 실행은 요금이 청구되기 전에 “Speaker Frames는 아직 가격이 정해지지 않았습니다”라는 메시지와 함께 거부됩니다. 노드, 설정 패널, 실행 버튼에도 그렇게 표시됩니다. 노드를 배치하고 연결하고 설정할 수는 있습니다.

화자 프레임은 Nodaro Cloud에서 실행됩니다. 셀프 호스팅 설치에서는 설치를 Nodaro Cloud에 연결하세요. 연결된 설치는 샘플링하는 카메라의 작은 감지용 사본을 만들어 그것만 보내며, 원본 파일은 절대 보내지 않습니다. 메인 오디오와 선택 해제한 카메라는 전혀 보내지 않습니다. 현재 연결된 설치에서의 실행은 “화자 프레임은 아직 연결된 설치에서 사용할 수 없습니다”라는 메시지와 함께 거부됩니다.

사용 시기

• 팟캐스트나 인터뷰 렌더링의 프레이밍이 각 화자의 얼굴을 따라가게 하고 싶을 때.
• 편집 계획이나 카메라 전환으로 만든 멀티캠 편집이 있고, 모든 카메라에서 각 사람이 어디에 있는지 알아야 할 때.
• 편집 없이 동영상 하나에서 얼굴 위치를 얻고 싶을 때.

빠른 시작

입력

EDL과 동영상 중 정확히 하나만 연결하세요. 둘 다 연결하면 요금이 청구되기 전에 실행이 거부됩니다.

출력

연결된 셀프 호스팅 설치에서는 실행 후 얼굴 트랙 파일이 설치 자체의 저장소로 복사되고, 해시를 다시 확인합니다. 그러면 출력은 그 사본을 가리킵니다.

설정

노드는 편집에서 남기는 것만 샘플링합니다. 남기는 각 구간과 그 앞뒤 2초씩을, 편집에 나오는 모든 동영상 카메라에서 초당 2프레임으로 샘플링합니다. 샘플링 속도는 고정되어 있습니다. 남기는 영상이 180분보다 긴 카메라는 요금이 청구되기 전에 거부됩니다.

화자 라벨 수정

노드는 각 트랙의 화자에 대한 수정 내용을 트랙 ID별로 보관합니다. 수정으로 트랙의 라벨을 지울 수도 있습니다. 수정은 화자 뷰의 프레이밍 편집…에서 합니다. 각 카메라 위에 추적한 얼굴이 그려지고, 얼굴이 누구인지 고르면 이 노드에 수정 내용이 저장됩니다. 설정 패널, 캔버스의 요약, 화자 뷰에 수정 내용이 적용됩니다. 수정은 녹취록 자체의 라벨을 유지하므로, 카메라 전환에서 화자 이름을 바꾸면 수정도 새 이름을 따릅니다. 얼굴 트랙 출력은 수정 없이 실행이 기록한 그대로의 결과를 전달합니다. 새 실행은 트랙을 여전히 찾은 수정 내용을 유지합니다. 새 결과에 더 이상 트랙이 없는 수정 내용은 패널에 표시되므로, 알림 없이 수정 내용이 사라지는 일은 없습니다.

크레딧

화자 프레임에는 현재 크레딧 가격이 없습니다. 모든 실행은 “Speaker Frames는 아직 가격이 정해지지 않았습니다”라는 메시지와 함께 거부되며, 요금은 청구되지 않습니다.

팁

• 멀티캠 촬영에서는 카메라 전환을 먼저 실행하고 이름이 적용된 녹취록을 연결하세요. 그러면 트랙에 편집에서 쓰는 화자 이름이 붙습니다.
• 필요 없는 카메라는 선택 해제하세요. 렌더링에서 전체 프레임으로 보여 주는 클로즈업은 추적할 필요가 없고, 카메라가 적을수록 샘플링할 프레임도 줄어듭니다.
• 추적하기 전에 편집을 줄이세요. 노드는 편집에서 남기는 영상만 샘플링하므로, 더 짧게 다듬은 편집일수록 더 빨리 샘플링됩니다.

문제 해결

API에서 사용

POST /v1/speaker-frames는 edl과 videoUrl 중 정확히 하나를 받고, 선택적으로 transcript와 excludeSourceIds를 받습니다. edl은 EDL 하나, 클립 팩(EDL 배열) 또는 클립 세트이며, 객체나 JSON 문자열로 보냅니다. excludeSourceIds에는 선택 해제한 카메라를 나열합니다. 완료된 작업의 output_data.json이 얼굴 트랙 파일의 요약입니다.

다음 요청은 요금이 청구되기 전에 거부됩니다.

셀프 호스팅 설치에서는 Nodaro Cloud 연결이 없거나 Nodaro Cloud가 설치의 연결을 거부하면 이 경로가 503 nodaro_connection_required로 응답합니다. 연동에서 다시 연결하세요. Nodaro Cloud가 연결된 설치의 실행을 받지 않거나 Nodaro Cloud에 연결할 수 없는 동안에는 503 speaker_frames_relay_unavailable로 응답합니다. 설치가 만든 감지용 사본이 릴레이로 보낼 수 있는 500MB보다 크면 작업이 실패하고 그 카메라를 알려 줍니다. 남기는 영상을 줄이거나 그 카메라를 선택 해제하세요.

GET /v1/speaker-frames/capabilities는 { relay, source }로 응답합니다. 이 서버가 연결된 셀프 호스팅 설치에서 릴레이된 화자 프레임 작업을 실행하는지를 알려 줍니다. source는 server, nodaro.ai, nodaro.ai-unreachable, nodaro.ai-rejected, not-connected 중 하나입니다. 단일 노드 실행과 작업을 참고하세요.