# 重複を削除

> リストから重複した項目を取り除き、それぞれ最初の 1 つを残します。スクレイピングや結合で作ったリストを、項目全体か、id や url などのフィールドで比較できます。

Source: https://nodaro.ai/ja/docs/nodes/automate/remove-duplicates

**重複を削除**（Remove Duplicates）ノードは、リストから重複した項目を取り除き、それぞれ最初の 1 つを残します。デフォルトでは項目全体を比較しますが、`id` や `url` など、各項目の中の 1 つのフィールドで比較することもできます。フィールドでの比較は、スクレイピングしたレコードに向いています。残った項目の順番は変わりません。このノードは無料です。

- Found in: Automate › Lists & Batching
- Output: data
- API type: `deduplicate`

## 使いどころ
- スクレイピングで、同じ投稿が複数回返ってきたとき。`id` や `url` でコピーを取り除きます。
- 重なりのある 2 つのリストを結合したので、各項目を 1 つだけにしたいとき。
- バッチの各プロンプトを、1 回だけ実行したいとき。

## クイックスタート
### ノードを追加する
キャンバス上で Tab を押し、**自動化 › リストとバッチ処理 › 重複を削除**を選びます。

### リストを接続する
リストを**リスト**入力に接続します。たとえば、[**Web スクレイピング**（Web Scrape）](https://nodaro.ai/docs/nodes/automate/web-scrape)、[**リストを結合**（Merge Lists）](https://nodaro.ai/docs/nodes/automate/merge-lists)、[**リストをフィルター**（Filter List）](https://nodaro.ai/docs/nodes/automate/filter-list)、[**リスト**（List）](https://nodaro.ai/docs/nodes/automate/list)、[**テキストを分割**（Split Text）](https://nodaro.ai/docs/nodes/automate/split-text)から接続します。

### 比較する対象を選ぶ
設定パネルを開きます。項目全体を比較するには、**重複を判定するフィールド**を**（項目全体）**のままにします。または、項目を識別するフィールドを選びます。

### 実行する
**重複なし**出力が、重複を取り除いたリストを渡します。実行後は、パネルに重複のない項目のプレビューと、その数が表示されます。

Workflow: 2 つの検索結果が 1 つのリストに結合され、重複を削除が url を比較して、各結果を 1 つずつ残します。

- Web スクレイピング → リストを結合 (リスト)
- Web スクレイピング → リストを結合 (リスト)
- リストを結合 → 重複を削除 (リスト)

## 入力と出力
| 入力／出力 | 受け取るもの／送るもの | 説明 |
| --- | --- | --- |
| **リスト** | テキストまたは JSON の項目のリスト | 整理するリストです。 |
| **重複なし** | リスト | 各項目の最初のコピーを、元の順番で並べたものです。 |

## 設定
| 設定 | 説明 |
| --- | --- |
| **重複を判定するフィールド** | 2 つの項目を同じとみなす基準です。デフォルトの**（項目全体）**は、項目全体をテキストとして比較します。上流のデータから検出されたフィールドを選ぶか、**カスタムパス…**を選んで `id` や `metadata.url` のようなドットパスを入力します。パスが項目に一致する場合、その項目は JSON として読み取られます。 |

## クレジット
重複を削除ノードは無料です。

## ヒント
- **識別子で比較する**：同じ投稿を 2 回スクレイピングすると、いいねの数など、細かい部分が異なることがあります。`id` や `url` で比較すれば、それらを 1 つの投稿として扱えます。
- **結合と整理を 1 ステップで行う**：リストを結合して、完全に同じ項目を取り除くだけで十分な場合は、[リストを結合](https://nodaro.ai/docs/nodes/automate/merge-lists)の**結合後に重複を削除**をオンにします。

## Frequently asked questions

### 「重複を削除」では、重複した項目のどれが残りますか？

最初の 1 つです。「重複を削除」はリストを先頭から順に確認し、それぞれの値を持つ最初の項目を残して、それ以降のコピーをすべて取り除きます。残った項目の順番は変わりません。

### 1 つのフィールドで重複を判定するには、どうすればよいですか？

「重複を判定するフィールド」で id や url などのフィールドを選ぶか、「カスタムパス…」を選んで metadata.url のようなドットパスを入力します。そのフィールドの値が同じ 2 つの項目は、ほかのフィールドが異なっていても重複として扱われます。

### 「重複を削除」にクレジットはかかりますか？

いいえ。「重複を削除」は無料です。

### 「リストを結合」でも重複を削除できますか？

はい。「リストを結合」には「結合後に重複を削除」のスイッチがあり、値が同じ項目を取り除きます。項目全体ではなく 1 つのフィールドで比較する必要がある場合は、「重複を削除」を使います。