Remover duplicatas
Remova os itens repetidos e mantenha a primeira cópia de cada um. Compare itens inteiros ou um campo, como id ou url, em listas extraídas ou mescladas.
O nó Remover duplicatas descarta os itens repetidos de uma lista e mantém a primeira cópia de cada um. Por padrão, ele compara os itens inteiros, mas também pode comparar um campo dentro de cada item, como id ou url, o que serve bem para registros extraídos. Os itens restantes mantêm a ordem. O nó é gratuito.
Quando usar
- Uma extração retorna o mesmo post mais de uma vez. Descarte as cópias pelo
idou pelaurl. - Você mesclou duas listas que se sobrepõem e quer cada item uma só vez.
- Você quer que cada prompt de um lote seja executado só uma vez.
Início rápido
Adicionar o nó
Pressione Tab no canvas e escolha Automatizar › Listas e lotes › Remover duplicatas.
Conectar uma lista
Conecte uma lista à entrada Lista, por exemplo do Extrair da web, do Mesclar listas, do Filtrar lista, da Lista ou do Dividir texto.
Escolher o que comparar
Abra o painel de configurações. Deixe Remover duplicatas por campo em (item inteiro) para comparar os itens completos, ou escolha o campo que identifica um item.
Executar
A saída Únicos leva a lista sem repetições. Depois de uma execução, o painel mostra uma prévia dos itens únicos e quantos eles são.
Entradas e saídas
| Entrada ou saída | Aceita ou envia | O que faz |
|---|---|---|
| Lista | Uma lista de itens de texto ou JSON | A lista a limpar. O nó Remover duplicatas sempre executa uma vez sobre a lista inteira, mesmo numa conexão no modo Cada item. |
| Únicos | Uma lista | A primeira cópia de cada item, na ordem original. |
Configurações
| Configuração | O que faz |
|---|---|
| Remover duplicatas por campo | O que torna dois itens iguais. (item inteiro), o padrão, compara os itens completos como texto. Escolha um campo detectado nos dados do nó anterior, ou Caminho personalizado… para digitar um caminho com pontos, como id ou metadata.url. Cada item é lido como JSON quando o caminho corresponde a ele. |
Créditos
O Remover duplicatas é gratuito.
Dicas
- Compare por um identificador. Duas extrações do mesmo post podem ter pequenas diferenças, como o número de curtidas. Compare por
idouurlpara que elas continuem contando como um só post. - Mescle e limpe em uma etapa. Quando você só precisa mesclar listas e descartar repetições exatas, ative Remover duplicatas após mesclar no Mesclar listas.
Perguntas frequentes
Qual cópia de um item repetido o “Remover duplicatas” mantém?
A primeira. O “Remover duplicatas” percorre a lista de cima para baixo, mantém o primeiro item com cada valor e descarta todas as cópias seguintes. Os itens restantes mantêm a ordem.
Como removo duplicatas por um campo?
Defina “Remover duplicatas por campo” como o campo, como id ou url, ou escolha “Caminho personalizado…” e digite um caminho com pontos, como metadata.url. Dois itens com o mesmo valor nesse campo contam como duplicatas, mesmo quando os outros campos são diferentes.
O “Remover duplicatas” custa créditos?
Não. O “Remover duplicatas” é gratuito.
O “Mesclar listas” também consegue remover duplicatas?
Sim. O “Mesclar listas” tem a opção “Remover duplicatas após mesclar”, que descarta os itens repetidos pelo valor. Use o “Remover duplicatas” quando precisar comparar um campo em vez do item inteiro.
Páginas relacionadas
Mesclar listas
Filtrar lista
Ordenar lista
Extrair da web
Listas e lotes
Última atualização
Ordenar lista
Ordene uma lista pelo item inteiro ou por um campo, como score ou created_at, comparando como texto, números ou datas, em ordem crescente ou decrescente.
Mesclar listas
Combine várias listas em uma. Concatenar as junta na ordem das conexões, e Emparelhar mescla os itens da mesma posição. Descartar duplicatas é opcional.