Quadros dos falantes

O nó Quadros dos falantes descobre onde está o rosto de cada falante, ao longo do tempo, em todas as câmeras de uma edição. Ele grava o resultado em um arquivo de trilhas de rosto armazenado, com caixas para cada rosto no relógio de cada câmera. A saída Trilhas de rostos leva um resumo desse arquivo. Conecte-a à entrada Trilhas de rostos do Visão de falantes, ou clique em Adicionar rastreamento de rostos nele, e o recorte de cada falante passa a seguir o rosto dele.

O Quadros dos falantes não tem preço em créditos no momento. Toda execução é recusada antes de qualquer cobrança, com a mensagem “O Speaker Frames ainda não tem preço.”. O nó, o painel de configurações e o botão Executar avisam isso. Você pode posicionar o nó, conectá-lo e configurá-lo.

O Quadros dos falantes é executado no Nodaro Cloud. Em uma instalação auto-hospedada, conecte a instalação ao Nodaro Cloud. Uma instalação conectada cria pequenas cópias de detecção das câmeras que amostra e envia só essas cópias, nunca os arquivos originais. O áudio master e as câmeras que você desmarca não são enviados. No momento, uma execução a partir de uma instalação conectada é recusada com a mensagem “O Speaker Frames ainda não está disponível em uma instalação conectada”.

Quando usar

• Fazer o enquadramento de uma renderização de podcast ou de entrevista seguir o rosto de cada falante.
• Saber onde cada pessoa está em cada câmera de uma edição multicâmera do Plano de edição ou do Troca de câmeras.
• Obter as posições dos rostos em um vídeo, sem uma edição.

Início rápido

Entradas

Conecte exatamente uma entre EDL e Vídeo. Com as duas conectadas, a execução é recusada antes de qualquer cobrança.

Saídas

Em uma instalação auto-hospedada conectada, o arquivo de trilhas de rosto é copiado para o armazenamento da própria instalação depois da execução, e o hash dele é verificado de novo. A saída passa então a apontar para essa cópia.

Configurações

O nó amostra só o que a edição mantém: cada trecho mantido, mais 2 segundos de cada lado, a 2 quadros por segundo, em todas as câmeras de vídeo que a edição mostra. A taxa de amostragem é fixa. Uma câmera cujas imagens mantidas passam de 180 minutos é recusada antes de qualquer cobrança.

Correções dos rótulos de falante

O nó guarda as correções do falante de cada trilha, pelo id da trilha. Uma correção também pode apagar o rótulo de uma trilha. Você define as correções em Editar enquadramento… no Visão de falantes: ele desenha os rostos rastreados sobre cada câmera, e escolher quem é um rosto salva a correção neste nó. O painel de configurações, o resumo no canvas e o Visão de falantes aplicam essas correções. Uma correção mantém o rótulo da própria transcrição, então, depois que você renomeia um falante no Troca de câmeras, a correção segue o novo nome. A saída Trilhas de rostos leva o resultado como a execução o gravou, sem as correções. Uma nova execução mantém as correções cujas trilhas ela ainda encontra. O painel lista toda correção cuja trilha não existe mais no novo resultado, então uma correção nunca é descartada sem aviso.

Créditos

O Quadros dos falantes não tem preço em créditos no momento. Toda execução é recusada com a mensagem “O Speaker Frames ainda não tem preço.”, e nada é cobrado.

Dicas

• Execute o Troca de câmeras primeiro em uma gravação multicâmera e conecte a transcrição com nomes dele, para que as trilhas levem os nomes de falantes que a edição usa.
• Desmarque as câmeras de que você não precisa. Um close que a renderização mostra em quadro inteiro não precisa de rastreamento, e menos câmeras significam menos quadros para amostrar.
• Corte a edição antes de rastrear. O nó amostra só as imagens que a edição mantém, então uma edição mais enxuta é amostrada mais rápido.

Solução de problemas

Pela API

POST /v1/speaker-frames recebe edl ou videoUrl, exatamente um dos dois, com os opcionais transcript e excludeSourceIds. edl é um EDL, um conjunto de clipes (um array de EDLs) ou um grupo de clipes, como objetos ou strings JSON. excludeSourceIds lista as câmeras que você desmarcou. O output_data.json da tarefa concluída é o resumo do arquivo de trilhas de rosto.

As requisições são recusadas antes de qualquer cobrança:

Em uma instalação auto-hospedada, a rota responde 503 nodaro_connection_required sem uma conexão com o Nodaro Cloud, ou quando o Nodaro Cloud rejeita a conexão da instalação. Reconecte em Integrações. Ela responde 503 speaker_frames_relay_unavailable enquanto o Nodaro Cloud não aceita execuções de uma instalação conectada, ou não pode ser alcançado. Se uma cópia de detecção criada pela instalação passa dos 500 MB que um repasse pode enviar, a tarefa falha e cita a câmera. Mantenha menos imagens ou desmarque essa câmera.

GET /v1/speaker-frames/capabilities responde { relay, source }: se este servidor executa uma tarefa do Quadros dos falantes repassada de uma instalação auto-hospedada conectada. source é server, nodaro.ai, nodaro.ai-unreachable, nodaro.ai-rejected ou not-connected. Veja Executar um único nó e Tarefas.