重複を削除
リストから重複した項目を取り除き、それぞれ最初の 1 つを残します。スクレイピングや結合で作ったリストを、項目全体か、id や url などのフィールドで比較できます。
重複を削除ノードは、リストから重複した項目を取り除き、それぞれ最初の 1 つを残します。デフォルトでは項目全体を比較しますが、id や url など、各項目の中の 1 つのフィールドで比較することもできます。フィールドでの比較は、スクレイピングしたレコードに向いています。残った項目の順番は変わりません。このノードは無料です。
使いどころ
- スクレイピングで、同じ投稿が複数回返ってきたとき。
idやurlでコピーを取り除きます。 - 重なりのある 2 つのリストを結合したので、各項目を 1 つだけにしたいとき。
- バッチの各プロンプトを、1 回だけ実行したいとき。
クイックスタート
ノードを追加する
キャンバス上で Tab を押し、自動化 › リストとバッチ処理 › 重複を削除を選びます。
比較する対象を選ぶ
設定パネルを開きます。項目全体を比較するには、重複を判定するフィールドを(項目全体)のままにします。または、項目を識別するフィールドを選びます。
実行する
重複なし出力が、重複を取り除いたリストを渡します。実行後は、パネルに重複のない項目のプレビューと、その数が表示されます。
入力と出力
| 入力/出力 | 受け取るもの/送るもの | 説明 |
|---|---|---|
| リスト | テキストまたは JSON の項目のリスト | 整理するリストです。重複を削除は、個別モードの接続でも、リスト全体に対して常に 1 回だけ実行されます。 |
| 重複なし | リスト | 各項目の最初のコピーを、元の順番で並べたものです。 |
設定
| 設定 | 説明 |
|---|---|
| 重複を判定するフィールド | 2 つの項目を同じとみなす基準です。デフォルトの(項目全体)は、項目全体をテキストとして比較します。上流のデータから検出されたフィールドを選ぶか、カスタムパス…を選んで id や metadata.url のようなドットパスを入力します。パスが項目に一致する場合、その項目は JSON として読み取られます。 |
クレジット
重複を削除ノードは無料です。
ヒント
- 識別子で比較する:同じ投稿を 2 回スクレイピングすると、いいねの数など、細かい部分が異なることがあります。
idやurlで比較すれば、それらを 1 つの投稿として扱えます。 - 結合と整理を 1 ステップで行う:リストを結合して、完全に同じ項目を取り除くだけで十分な場合は、リストを結合の結合後に重複を削除をオンにします。
よくある質問
「重複を削除」では、重複した項目のどれが残りますか?
最初の 1 つです。「重複を削除」はリストを先頭から順に確認し、それぞれの値を持つ最初の項目を残して、それ以降のコピーをすべて取り除きます。残った項目の順番は変わりません。
1 つのフィールドで重複を判定するには、どうすればよいですか?
「重複を判定するフィールド」で id や url などのフィールドを選ぶか、「カスタムパス…」を選んで metadata.url のようなドットパスを入力します。そのフィールドの値が同じ 2 つの項目は、ほかのフィールドが異なっていても重複として扱われます。
「重複を削除」にクレジットはかかりますか?
いいえ。「重複を削除」は無料です。
「リストを結合」でも重複を削除できますか?
はい。「リストを結合」には「結合後に重複を削除」のスイッチがあり、値が同じ項目を取り除きます。項目全体ではなく 1 つのフィールドで比較する必要がある場合は、「重複を削除」を使います。
関連ページ
リストを結合
リストをフィルター
リストを並べ替え
Web スクレイピング
リストとバッチ処理
最終更新