NodaroAccount
Nodaro ドキュメント
ドキュメントノードリファレンスモデルテンプレートAI エージェント(MCP)開発者向けセルフホスティングリサーチ比較
自動化

重複を削除

リストから重複した項目を取り除き、それぞれ最初の 1 つを残します。スクレイピングや結合で作ったリストを、項目全体か、id や url などのフィールドで比較できます。

重複を削除ノードは、リストから重複した項目を取り除き、それぞれ最初の 1 つを残します。デフォルトでは項目全体を比較しますが、id や url など、各項目の中の 1 つのフィールドで比較することもできます。フィールドでの比較は、スクレイピングしたレコードに向いています。残った項目の順番は変わりません。このノードは無料です。

使いどころ

  • スクレイピングで、同じ投稿が複数回返ってきたとき。id や url でコピーを取り除きます。
  • 重なりのある 2 つのリストを結合したので、各項目を 1 つだけにしたいとき。
  • バッチの各プロンプトを、1 回だけ実行したいとき。

クイックスタート

ノードを追加する

キャンバス上で Tab を押し、自動化 › リストとバッチ処理 › 重複を削除を選びます。

リストを接続する

リストをリスト入力に接続します。たとえば、Web スクレイピング、リストを結合、リストをフィルター、リスト、テキストを分割から接続します。

比較する対象を選ぶ

設定パネルを開きます。項目全体を比較するには、重複を判定するフィールドを(項目全体)のままにします。または、項目を識別するフィールドを選びます。

実行する

重複なし出力が、重複を取り除いたリストを渡します。実行後は、パネルに重複のない項目のプレビューと、その数が表示されます。

リストリストリストWeb スクレイピング検索 1Web スクレイピング検索 2リストを結合連結重複を削除url で判定
2 つの検索結果が 1 つのリストに結合され、重複を削除が url を比較して、各結果を 1 つずつ残します。

入力と出力

入力/出力受け取るもの/送るもの説明
リストテキストまたは JSON の項目のリスト整理するリストです。重複を削除は、個別モードの接続でも、リスト全体に対して常に 1 回だけ実行されます。
重複なしリスト各項目の最初のコピーを、元の順番で並べたものです。

設定

設定説明
重複を判定するフィールド2 つの項目を同じとみなす基準です。デフォルトの(項目全体)は、項目全体をテキストとして比較します。上流のデータから検出されたフィールドを選ぶか、カスタムパス…を選んで id や metadata.url のようなドットパスを入力します。パスが項目に一致する場合、その項目は JSON として読み取られます。

クレジット

重複を削除ノードは無料です。

ヒント

  • 識別子で比較する:同じ投稿を 2 回スクレイピングすると、いいねの数など、細かい部分が異なることがあります。id や url で比較すれば、それらを 1 つの投稿として扱えます。
  • 結合と整理を 1 ステップで行う:リストを結合して、完全に同じ項目を取り除くだけで十分な場合は、リストを結合の結合後に重複を削除をオンにします。

よくある質問

「重複を削除」では、重複した項目のどれが残りますか?

最初の 1 つです。「重複を削除」はリストを先頭から順に確認し、それぞれの値を持つ最初の項目を残して、それ以降のコピーをすべて取り除きます。残った項目の順番は変わりません。

1 つのフィールドで重複を判定するには、どうすればよいですか?

「重複を判定するフィールド」で id や url などのフィールドを選ぶか、「カスタムパス…」を選んで metadata.url のようなドットパスを入力します。そのフィールドの値が同じ 2 つの項目は、ほかのフィールドが異なっていても重複として扱われます。

「重複を削除」にクレジットはかかりますか?

いいえ。「重複を削除」は無料です。

「リストを結合」でも重複を削除できますか?

はい。「リストを結合」には「結合後に重複を削除」のスイッチがあり、値が同じ項目を取り除きます。項目全体ではなく 1 つのフィールドで比較する必要がある場合は、「重複を削除」を使います。

最終更新

目次