# הסרת כפילויות

> הסירו פריטים חוזרים מרשימה ושמרו את העותק הראשון של כל אחד. אפשר להשוות פריטים שלמים או שדה אחד, כגון id או url, ברשימות מגריפה או ממיזוג.

Source: https://nodaro.ai/he/docs/nodes/automate/remove-duplicates

רכיב **הסרת כפילויות** מסיר את הפריטים החוזרים של רשימה ושומר את העותק הראשון של כל אחד. כברירת מחדל הרכיב משווה פריטים שלמים, ואפשר גם להשוות שדה אחד בתוך כל פריט, כגון `id` או `url`; השוואה כזו מתאימה לרשומות מגריפה. הפריטים שנשארים שומרים על הסדר שלהם. הרכיב לא עולה כלום.

- Found in: Automate › Lists & Batching
- Output: data
- API type: `deduplicate`

## מתי להשתמש
- גריפה מחזירה את אותו פוסט יותר מפעם אחת. הסירו את העותקים לפי `id` או `url`.
- מיזגתם שתי רשימות שחופפות, ואתם רוצים כל פריט פעם אחת בלבד.
- אתם רוצים שכל פרומפט באצווה ירוץ פעם אחת בלבד.

## התחלה מהירה
### הוספת הרכיב
הקישו Tab על הקנבס ובחרו **אוטומציה › רשימות ואצוות › הסרת כפילויות**.

### חיבור רשימה
חברו רשימה לקלט **רשימה**, למשל מהרכיבים [גריפת אתר](https://nodaro.ai/docs/nodes/automate/web-scrape), [מיזוג רשימות](https://nodaro.ai/docs/nodes/automate/merge-lists), [סינון רשימה](https://nodaro.ai/docs/nodes/automate/filter-list), [רשימה](https://nodaro.ai/docs/nodes/automate/list) או [פיצול טקסט](https://nodaro.ai/docs/nodes/automate/split-text).

### בחירת מה להשוות
פתחו את חלונית ההגדרות. כדי להשוות פריטים שלמים, השאירו את ההגדרה **הסרת כפילויות לפי שדה** על **(הפריט כולו)**. אחרת, בחרו את השדה שמזהה פריט.

### הרצה
הפלט **ייחודיים** מעביר את הרשימה בלי חזרות. אחרי הרצה, החלונית מציגה תצוגה מקדימה של הפריטים הייחודיים ואת מספרם.

Workflow: שני חיפושים מתמזגים לרשימה אחת, ורכיב הסרת כפילויות משווה את ה-url של התוצאות ושומר כל תוצאה פעם אחת.

- גריפת אתר → מיזוג רשימות (רשימות)
- גריפת אתר → מיזוג רשימות (רשימות)
- מיזוג רשימות → הסרת כפילויות (רשימה)

## קלטים ופלטים
| קלט או פלט | מקבל או שולח | מה הוא עושה |
| --- | --- | --- |
| **רשימה** | רשימה של פריטי טקסט או JSON | הרשימה לניקוי. רכיב הסרת כפילויות תמיד רץ פעם אחת על הרשימה כולה, גם בחיבור במצב **כל אחד**. |
| **ייחודיים** | רשימה | העותק הראשון של כל פריט, בסדר המקורי. |

## הגדרות
| הגדרה | מה היא עושה |
| --- | --- |
| **הסרת כפילויות לפי שדה** | מה הופך שני פריטים לזהים. האפשרות **(הפריט כולו)**, ברירת המחדל, משווה את הפריטים השלמים כטקסט. אפשר לבחור שדה שזוהה בנתונים שבמעלה הזרם, או את האפשרות **נתיב מותאם אישית…** כדי להקליד נתיב בסימון נקודות, כגון `id` או `metadata.url`. כל פריט מפוענח כ-JSON כשהנתיב מתאים לו. |

## קרדיטים
רכיב הסרת כפילויות לא עולה כלום.

## טיפים
- **השוו לפי מזהה.** שתי גריפות של אותו פוסט יכולות להיות שונות בפרטים קטנים, כגון מספר הלייקים. השוו לפי `id` או `url`, כדי ששתיהן ייחשבו עדיין לאותו פוסט.
- **מיזוג וניקוי בשלב אחד.** כשצריך רק למזג רשימות ולהסיר חזרות מדויקות, הפעילו את המתג **הסרת כפילויות לאחר המיזוג** ברכיב [מיזוג רשימות](https://nodaro.ai/docs/nodes/automate/merge-lists).

## שאלות נפוצות

### איזה עותק של פריט חוזר רכיב הסרת כפילויות שומר?

רכיב הסרת כפילויות שומר את העותק הראשון. הרכיב עובר על הרשימה מלמעלה למטה, שומר את הפריט הראשון של כל ערך ומסיר כל עותק שמופיע אחריו. הפריטים שנשארים שומרים על הסדר שלהם.

### איך מסירים כפילויות לפי שדה אחד?

ברכיב הסרת כפילויות, בחרו את השדה בהגדרה הסרת כפילויות לפי שדה, כגון id או url, או בחרו באפשרות נתיב מותאם אישית… והקלידו נתיב בסימון נקודות, כגון metadata.url. שני פריטים עם אותו ערך בשדה הזה נחשבים לכפילויות, גם כשהשדות האחרים שלהם שונים.

### האם רכיב הסרת כפילויות עולה קרדיטים?

לא. רכיב הסרת כפילויות לא עולה כלום.

### האם גם רכיב מיזוג רשימות יכול להסיר כפילויות?

כן. ברכיב מיזוג רשימות יש מתג הסרת כפילויות לאחר המיזוג, שמסיר פריטים חוזרים לפי הערך שלהם. השתמשו ברכיב הסרת כפילויות כשצריך להשוות שדה אחד ולא את הפריט כולו.