「重複を削除」では、重複した項目のどれが残りますか？

最初の 1 つです。「重複を削除」はリストを先頭から順に確認し、それぞれの値を持つ最初の項目を残して、それ以降のコピーをすべて取り除きます。残った項目の順番は変わりません。

1 つのフィールドで重複を判定するには、どうすればよいですか？

「重複を判定するフィールド」で id や url などのフィールドを選ぶか、「カスタムパス…」を選んで metadata.url のようなドットパスを入力します。そのフィールドの値が同じ 2 つの項目は、ほかのフィールドが異なっていても重複として扱われます。

「重複を削除」にクレジットはかかりますか？

いいえ。「重複を削除」は無料です。

「リストを結合」でも重複を削除できますか？

はい。「リストを結合」には「結合後に重複を削除」のスイッチがあり、値が同じ項目を取り除きます。項目全体ではなく 1 つのフィールドで比較する必要がある場合は、「重複を削除」を使います。

重複を削除（Remove Duplicates）ノード：リストから重複した項目を取り除き、それぞれ最初の 1 つを残す

Q: 「重複を削除」にクレジットはかかりますか？

いいえ。「重複を削除」は無料です。

リストから重複した項目を取り除き、それぞれ最初の 1 つを残します。スクレイピングや結合で作ったリストを、項目全体か、id や url などのフィールドで比較できます。

重複を削除（Remove Duplicates）ノードは、リストから重複した項目を取り除き、それぞれ最初の 1 つを残します。デフォルトでは項目全体を比較しますが、id や url など、各項目の中の 1 つのフィールドで比較することもできます。フィールドでの比較は、スクレイピングしたレコードに向いています。残った項目の順番は変わりません。このノードは無料です。

使いどころ

スクレイピングで、同じ投稿が複数回返ってきたとき。id や url でコピーを取り除きます。
重なりのある 2 つのリストを結合したので、各項目を 1 つだけにしたいとき。
バッチの各プロンプトを、1 回だけ実行したいとき。

クイックスタート

ノードを追加する

キャンバス上で Tab を押し、自動化 › リストとバッチ処理 › 重複を削除を選びます。

リストを接続する

リストをリスト入力に接続します。たとえば、Web スクレイピング（Web Scrape）、リストを結合（Merge Lists）、リストをフィルター（Filter List）、リスト（List）、テキストを分割（Split Text）から接続します。

比較する対象を選ぶ

設定パネルを開きます。項目全体を比較するには、重複を判定するフィールドを（項目全体）のままにします。または、項目を識別するフィールドを選びます。

実行する

重複なし出力が、重複を取り除いたリストを渡します。実行後は、パネルに重複のない項目のプレビューと、その数が表示されます。

2 つの検索結果が 1 つのリストに結合され、重複を削除が url を比較して、各結果を 1 つずつ残します。

入力と出力

入力／出力	受け取るもの／送るもの	説明
リスト	テキストまたは JSON の項目のリスト	整理するリストです。
重複なし	リスト	各項目の最初のコピーを、元の順番で並べたものです。

設定	説明
重複を判定するフィールド	2 つの項目を同じとみなす基準です。デフォルトの（項目全体）は、項目全体をテキストとして比較します。上流のデータから検出されたフィールドを選ぶか、カスタムパス…を選んで `id` や `metadata.url` のようなドットパスを入力します。パスが項目に一致する場合、その項目は JSON として読み取られます。

識別子で比較する：同じ投稿を 2 回スクレイピングすると、いいねの数など、細かい部分が異なることがあります。id や url で比較すれば、それらを 1 つの投稿として扱えます。
結合と整理を 1 ステップで行う：リストを結合して、完全に同じ項目を取り除くだけで十分な場合は、リストを結合の結合後に重複を削除をオンにします。

重複を削除