# 중복 제거

> 목록에서 반복되는 항목을 제거하고 각 항목의 첫 번째 사본만 남기세요. 스크래핑하거나 병합한 목록에서 항목 전체나 id, url 같은 필드 하나를 비교합니다.

Source: https://nodaro.ai/ko/docs/nodes/automate/remove-duplicates

**중복 제거** 노드는 목록에서 반복되는 항목을 빼고 각 항목의 첫 번째 사본만 남깁니다. 기본적으로 항목 전체를 비교하며, `id`나 `url`처럼 각 항목 안의 필드 하나를 비교할 수도 있어 스크래핑한 레코드에 알맞습니다. 남은 항목은 순서를 유지합니다. 이 노드는 무료입니다.

- Found in: Automate › Lists & Batching
- Output: data
- API type: `deduplicate`

## 사용 시기
- 스크래핑 결과에 같은 게시물이 여러 번 들어 있을 때, `id`나 `url`로 사본을 제외합니다.
- 겹치는 두 목록을 병합한 뒤 각 항목을 한 번씩만 남깁니다.
- 일괄 처리의 각 프롬프트를 한 번만 실행합니다.

## 빠른 시작
### 노드 추가
캔버스에서 Tab 키를 누르고 **자동화 › 목록 및 일괄 처리 › 중복 제거**를 선택하세요.

### 목록 연결
목록을 **목록** 입력에 연결하세요. 예를 들어 [웹 스크래핑](https://nodaro.ai/docs/nodes/automate/web-scrape), [목록 병합](https://nodaro.ai/docs/nodes/automate/merge-lists), [목록 필터](https://nodaro.ai/docs/nodes/automate/filter-list), [목록](https://nodaro.ai/docs/nodes/automate/list), [텍스트 분할](https://nodaro.ai/docs/nodes/automate/split-text)에서 연결합니다.

### 비교 기준 선택
설정 패널을 여세요. 항목 전체를 비교하려면 **중복 판단 기준 필드**를 <strong>(항목 전체)</strong>로 두고, 그렇지 않으면 항목을 식별하는 필드를 고르세요.

### 실행
**고유 항목** 출력에 반복 없는 목록이 담깁니다. 실행이 끝나면 패널에 고유 항목의 미리 보기와 항목 수가 표시됩니다.

Workflow: 두 검색 결과가 목록 하나로 병합되고, 중복 제거가 url을 비교해 각 결과를 한 번씩만 남깁니다.

- 웹 스크래핑 → 목록 병합 (목록)
- 웹 스크래핑 → 목록 병합 (목록)
- 목록 병합 → 중복 제거 (목록)

## 입력과 출력
| 입력 또는 출력 | 받거나 보내는 것 | 하는 일 |
| --- | --- | --- |
| **목록** | 텍스트 또는 JSON 항목의 목록 | 정리할 목록입니다. **중복 제거**는 **개별** 모드의 연결에서도 항상 전체 목록에 대해 한 번만 실행됩니다. |
| **고유 항목** | 목록 | 모든 항목의 첫 번째 사본이며, 원래 순서를 유지합니다. |

## 설정
| 설정 | 하는 일 |
| --- | --- |
| **중복 판단 기준 필드** | 두 항목을 같은 것으로 보는 기준입니다. 기본값인 <strong>(항목 전체)</strong>는 항목 전체를 텍스트로 비교합니다. 업스트림 데이터에서 감지된 필드를 고르거나, <strong>사용자 지정 경로…</strong>를 골라 `id`나 `metadata.url` 같은 점 경로를 입력하세요. 경로가 항목과 일치하면 각 항목을 JSON으로 읽습니다. |

## 크레딧
중복 제거는 무료입니다.

## 팁
- **식별자로 비교하세요.** 같은 게시물을 두 번 스크래핑하면 좋아요 수처럼 작은 부분이 다를 수 있습니다. `id`나 `url`로 비교하면 여전히 게시물 하나로 처리됩니다.
- **병합과 정리를 한 번에 하세요.** 목록을 병합하고 완전히 같은 반복 항목만 제외하면 될 때는, [목록 병합](https://nodaro.ai/docs/nodes/automate/merge-lists)에서 **병합 후 중복 제거**를 켜세요.

## 자주 묻는 질문

### 중복 제거는 반복된 항목 중 어떤 사본을 남기나요?

첫 번째 사본입니다. 중복 제거는 목록을 위에서부터 훑으며 값마다 첫 번째 항목을 남기고, 그 뒤의 사본은 모두 제외합니다. 남은 항목은 순서를 유지합니다.

### 필드 하나를 기준으로 중복을 제거하려면 어떻게 하나요?

“중복 판단 기준 필드”를 id나 url 같은 필드로 정하거나, “사용자 지정 경로…”를 고르고 metadata.url 같은 점 경로를 입력하세요. 그 필드의 값이 같은 두 항목은 다른 필드가 달라도 중복으로 처리됩니다.

### 중복 제거에 크레딧이 드나요?

아니요. 중복 제거는 무료입니다.

### 목록 병합으로도 중복을 제거할 수 있나요?

네. 목록 병합에는 값이 같은 반복 항목을 제외하는 “병합 후 중복 제거” 스위치가 있습니다. 항목 전체 대신 필드 하나를 비교해야 할 때는 중복 제거를 사용하세요.