Remover duplicatas
Remova os itens repetidos e mantenha a primeira cópia de cada um. Compare itens inteiros ou um campo, como id ou url, em listas extraídas ou mescladas.
O nó Remover duplicatas (Remove Duplicates) descarta os itens repetidos de uma lista e mantém a primeira cópia de cada um. Por padrão, ele compara os itens inteiros, mas também pode comparar um campo dentro de cada item, como id ou url, o que serve bem para registros extraídos. Os itens restantes mantêm a ordem. O nó é gratuito.
Quando usar
- Uma extração retorna o mesmo post mais de uma vez. Descarte as cópias pelo
idou pelaurl. - Você mesclou duas listas que se sobrepõem e quer cada item uma só vez.
- Você quer que cada prompt de um lote seja executado só uma vez.
Início rápido
Adicionar o nó
Pressione Tab no canvas e escolha Automatizar › Listas e lotes › Remover duplicatas.
Conectar uma lista
Conecte uma lista à entrada Lista, por exemplo do Extrair da web (Web Scrape), do Mesclar listas (Merge Lists), do Filtrar lista (Filter List), da Lista (List) ou do Dividir texto (Split Text).
Escolher o que comparar
Abra o painel de configurações. Deixe Remover duplicatas por campo em (item inteiro) para comparar os itens completos, ou escolha o campo que identifica um item.
Executar
A saída Únicos leva a lista sem repetições. Depois de uma execução, o painel mostra uma prévia dos itens únicos e quantos eles são.
Entradas e saídas
| Entrada ou saída | Aceita ou envia | O que faz |
|---|---|---|
| Lista | Uma lista de itens de texto ou JSON | A lista a limpar. |
| Únicos | Uma lista | A primeira cópia de cada item, na ordem original. |
Configurações
| Configuração | O que faz |
|---|---|
| Remover duplicatas por campo | O que torna dois itens iguais. (item inteiro), o padrão, compara os itens completos como texto. Escolha um campo detectado nos dados do nó anterior, ou Caminho personalizado… para digitar um caminho com pontos, como id ou metadata.url. Cada item é lido como JSON quando o caminho corresponde a ele. |
Créditos
O Remover duplicatas é gratuito.
Dicas
- Compare por um identificador. Duas extrações do mesmo post podem ter pequenas diferenças, como o número de curtidas. Compare por
idouurlpara que elas continuem contando como um só post. - Mescle e limpe em uma etapa. Quando você só precisa mesclar listas e descartar repetições exatas, ative Remover duplicatas após mesclar no Mesclar listas.
Perguntas frequentes
Páginas relacionadas
Mesclar listas
Filtrar lista
Ordenar lista
Extrair da web
Listas e lotes
Última atualização
Ordenar lista
Ordene uma lista pelo item inteiro ou por um campo, como score ou created_at, comparando como texto, números ou datas, em ordem crescente ou decrescente.
Mesclar listas
Combine várias listas em uma. Concatenar as junta na ordem das conexões, e Emparelhar mescla os itens da mesma posição. Descartar duplicatas é opcional.