Nodaro 문서중복 제거
목록에서 반복되는 항목을 제거하고 각 항목의 첫 번째 사본만 남기세요. 스크래핑하거나 병합한 목록에서 항목 전체나 id, url 같은 필드 하나를 비교합니다.
중복 제거 노드는 목록에서 반복되는 항목을 빼고 각 항목의 첫 번째 사본만 남깁니다. 기본적으로 항목 전체를 비교하며, id나 url처럼 각 항목 안의 필드 하나를 비교할 수도 있어 스크래핑한 레코드에 알맞습니다. 남은 항목은 순서를 유지합니다. 이 노드는 무료입니다.
사용 시기
- 스크래핑 결과에 같은 게시물이 여러 번 들어 있을 때,
id나url로 사본을 제외합니다. - 겹치는 두 목록을 병합한 뒤 각 항목을 한 번씩만 남깁니다.
- 일괄 처리의 각 프롬프트를 한 번만 실행합니다.
빠른 시작
노드 추가
캔버스에서 Tab 키를 누르고 자동화 › 목록 및 일괄 처리 › 중복 제거를 선택하세요.
비교 기준 선택
설정 패널을 여세요. 항목 전체를 비교하려면 중복 판단 기준 필드를 (항목 전체)로 두고, 그렇지 않으면 항목을 식별하는 필드를 고르세요.
실행
고유 항목 출력에 반복 없는 목록이 담깁니다. 실행이 끝나면 패널에 고유 항목의 미리 보기와 항목 수가 표시됩니다.
입력과 출력
| 입력 또는 출력 | 받거나 보내는 것 | 하는 일 |
|---|---|---|
| 목록 | 텍스트 또는 JSON 항목의 목록 | 정리할 목록입니다. 중복 제거는 개별 모드의 연결에서도 항상 전체 목록에 대해 한 번만 실행됩니다. |
| 고유 항목 | 목록 | 모든 항목의 첫 번째 사본이며, 원래 순서를 유지합니다. |
설정
| 설정 | 하는 일 |
|---|---|
| 중복 판단 기준 필드 | 두 항목을 같은 것으로 보는 기준입니다. 기본값인 (항목 전체)는 항목 전체를 텍스트로 비교합니다. 업스트림 데이터에서 감지된 필드를 고르거나, 사용자 지정 경로…를 골라 id나 metadata.url 같은 점 경로를 입력하세요. 경로가 항목과 일치하면 각 항목을 JSON으로 읽습니다. |
크레딧
중복 제거는 무료입니다.
팁
- 식별자로 비교하세요. 같은 게시물을 두 번 스크래핑하면 좋아요 수처럼 작은 부분이 다를 수 있습니다.
id나url로 비교하면 여전히 게시물 하나로 처리됩니다. - 병합과 정리를 한 번에 하세요. 목록을 병합하고 완전히 같은 반복 항목만 제외하면 될 때는, 목록 병합에서 병합 후 중복 제거를 켜세요.
자주 묻는 질문
중복 제거는 반복된 항목 중 어떤 사본을 남기나요?
첫 번째 사본입니다. 중복 제거는 목록을 위에서부터 훑으며 값마다 첫 번째 항목을 남기고, 그 뒤의 사본은 모두 제외합니다. 남은 항목은 순서를 유지합니다.
필드 하나를 기준으로 중복을 제거하려면 어떻게 하나요?
“중복 판단 기준 필드”를 id나 url 같은 필드로 정하거나, “사용자 지정 경로…”를 고르고 metadata.url 같은 점 경로를 입력하세요. 그 필드의 값이 같은 두 항목은 다른 필드가 달라도 중복으로 처리됩니다.
중복 제거에 크레딧이 드나요?
아니요. 중복 제거는 무료입니다.
목록 병합으로도 중복을 제거할 수 있나요?
네. 목록 병합에는 값이 같은 반복 항목을 제외하는 “병합 후 중복 제거” 스위치가 있습니다. 항목 전체 대신 필드 하나를 비교해야 할 때는 중복 제거를 사용하세요.
관련 문서
목록 병합
목록 필터
목록 정렬
웹 스크래핑
목록과 일괄 처리
최종 업데이트