תיעוד Nodaroגריפת אתר
משכו תוצאות חיפוש ב-Google, טקסט מעמוד או מאתר, פריטים מפיד RSS או Atom או פוסטים מטיקטוק, והעבירו אותם כ-JSON לרכיבי AI ולרכיבי רשימות.
רכיב גריפת אתר מושך תוכן מהאינטרנט ומחזיר אותו כרשימת פריטים ב-JSON. יש לרכיב ארבעה מקורות: תוצאות חיפוש ב-Google, הטקסט של עמוד אינטרנט או של אתר שלם, הפריטים של פיד RSS או Atom והפוסטים האחרונים של פרופיל בטיקטוק. חברו את התוצאה לרכיב יצירת טקסט - כל LLM כדי לסכם או לשכתב אותה, או לרכיב חילוץ שדה כדי להריץ יצירה אחת לכל פריט.
מתי להשתמש
- למשוך לתהליך תוכן את תוצאות החיפוש של מילת מפתח.
- לקרוא עמוד אינטרנט או אתר כ-Markdown, ולתת לרכיב יצירת טקסט - כל LLM לסכם אותו או לחלץ ממנו עובדות.
- לקרוא לפי תזמון את הפריטים החדשים ביותר של אתר חדשות, של בלוג או של ערוץ יוטיוב.
- לאסוף את הפוסטים האחרונים של פרופיל בטיקטוק, לניתוח או לרעיונות חדשים.
התחלה מהירה
הוספת הרכיב
הקישו Tab על הקנבס ובחרו אוטומציה › קבלת תוכן › גריפת אתר.
בחירת מקור
פתחו את חלונית ההגדרות, בחרו מקור בתפריט מקור ומלאו את השדות שלו, למשל את השדה שאילתה במקור Google Search. הכפתור הרצה מציג את המחיר של המקור הזה.
הרצה
לחצו על הרצה. הפריטים הראשונים מופיעים ברכיב, והלשונית תוצאות בחלונית ההגדרות מציגה את כולם.
שימוש בפריטים
חברו את הפלט JSON לרכיב יצירת טקסט - כל LLM, שמתייחס ל-JSON כטקסט, או לרכיב חילוץ שדה כדי לקחת שדה אחד מכל פריט. ברכיב יצירת טקסט - כל LLM, השאירו את השדה פרומפט משתמש ריק וכתבו את המשימה תחת הנחיות (פרומפט מערכת).
מקורות
| מקור | מה הוא מחזיר | שדות |
|---|---|---|
| Google Search | עד 10 תוצאות חיפוש לשאילתה | שאילתה. מקסימום תוצאות, מ-1 עד 10, ברירת מחדל 5. קוד מדינה, קוד בן 2 אותיות כגון us, כדי להתאים את התוצאות למדינה. |
| תוכן אתר (Markdown) | הטקסט של עמוד אחד, או של עד 20 עמודים מאתר, כ-Markdown | כתובת התחלה, הכתובת כמו שמקלידים אותה בדפדפן. אפשר לוותר על https://. מצב סריקה: עמוד בודד (ברירת המחדל) או סריקת אתר, עד 20 עמודים, שעוברת בין הקישורים של האתר החל מכתובת ההתחלה. |
| פיד RSS | הפריטים של פיד RSS או Atom | כתובת הפיד, עם https:// או בלי. מגבלת תוצאות, מ-1 עד 50, ברירת מחדל 10. |
| TikTok | הפוסטים האחרונים של פרופיל, או פוסט אחד | כתובת פרופיל או פוסט, עם https:// או בלי. מגבלת תוצאות, מ-1 עד 20, ברירת מחדל 10. |
כל שדה טקסט מקבל {}. כשרכיב מחובר לקלט כתובת / שאילתה, הטקסט שלו מחליף את {}. כך רכיב טקסט או רכיב רשימה יכול לקבוע את השאילתה או את הכתובת.
פידים של RSS ו-Atom
המקור פיד RSS קורא את שני פורמטי הפיד: RSS 2.0, כולל הגרסאות הישנות 0.9x ו-1.0, ו-Atom. זה כולל פידים של ערוצי יוטיוב (https://www.youtube.com/feeds/videos.xml?channel_id=...), פידי releases.atom של GitHub ואת הפידים שרוב פלטפורמות הבלוגים מפרסמות.
לכל פריט יש אותם חמישה שדות, בלי קשר לפורמט של הפיד:
| שדה | מה יש בו |
|---|---|
title | הכותרת של הפריט |
url | הקישור לפריט. ריק כשלפריט אין קישור. |
description | התקציר או התוכן של הפריט. השדה יכול לכלול HTML. |
pubDate | תאריך הפרסום, בפורמט ISO 8601 כשאפשר לפענח את התאריך |
guid | המזהה הייחודי של הפריט, או הקישור שלו כשאין לו מזהה |
כשלשרת של הפיד יש בעיה זמנית, הרכיב מנסה שוב, עד שלוש בקשות בתוך 30 שניות. הרצה שהזמן שלה נגמר נכשלת עם השגיאה "RSS fetch timed out" (תם הזמן למשיכת ה-RSS). אם הכתובת מחזירה משהו שהוא לא פיד, כגון עמוד אינטרנט או עמוד שגיאה, ההרצה נכשלת. השגיאה מציינת מה הכתובת החזירה.
תוצאות
אחרי הרצה, הרכיב מציג את הפריטים הראשונים. הלשונית תוצאות בחלונית ההגדרות מציגה את כל הפריטים, בתצוגת רשימה ובתצוגת JSON גולמי, עם הכפתורים העתקת ה-JSON והורדת ה-JSON. כל פריט מקשר למקור שלו, כגון העמוד של תוצאת החיפוש, פריט הפיד או הסרטון בטיקטוק. בדקו שם תוצאה לפני שאתם בונים עליה.
הפלט, JSON, הוא רשימת הפריטים. שלוש דרכים נפוצות להשתמש בו:
- סכמו או שכתבו. חברו את הפלט לקלט פרומפט של רכיב יצירת טקסט - כל LLM. ה-JSON מגיע כטקסט. השאירו את השדה פרומפט משתמש ריק, כדי שה-JSON יהיה הבקשה, וכתבו את המשימה תחת הנחיות (פרומפט מערכת).
- קחו שדה אחד. חברו את הפלט לרכיב חילוץ שדה, למשל כדי לקבל כרשימה את ה-
titleשל כל פריט בפיד. - הריצו פעם אחת לכל פריט. שלחו את רשימת הערכים שחולצו לרכיב יצירה, שרץ פעם אחת לכל ערך. ראו את הדף רשימות ואצוות.
קרדיטים
| מקור | קרדיטים להרצה |
|---|---|
| Google Search | 33 |
| תוכן אתר, עמוד בודד | 11 |
| תוכן אתר, סריקת אתר | 55 |
| פיד RSS | 11 |
| TikTok | 11 |
הכפתור הרצה ברכיב, המחיר שליד כל מצב סריקה והסכום הכולל של הרצת תהליך מציגים כולם את המחיר שאתם משלמים.
- על הרצה שנכשלה מקבלים החזר מלא.
- הרצה שלא מוצאת כלום מחויבת. ההרצה הסתיימה, ולכן משלמים עליה את המחיר של המקור שלה, והרכיב שומר את התוצאה הטובה האחרונה שלו לצד התוצאה הריקה. במקור פיד RSS, פיד אמיתי שאין בו פריטים נחשב כאילו ההרצה לא מצאה כלום.
סריקות ארוכות
סריקת אתר עוברת על עד 20 עמודים, ולעיתים קרובות נמשכת כמה דקות. בעורך ובהרצת תהליך, אין צורך לעשות שום דבר. הרכיב מחכה, והעמודים מופיעים ברכיב כשהסריקה מסתיימת. אם פותחים שוב את התהליך אחרי שהסריקה הסתיימה ברקע, התוצאה נמצאת שם גם כן.
בהתקנה באירוח עצמי, המקורות Google Search, תוכן אתר ו-TikTok צריכים את מפתח הגריפה שמתואר בדף מפתחות ספק, או חיבור ל-Nodaro Cloud. המקור פיד RSS לא צריך אף אחד מהם.
טיפים
- התחילו בעמוד אחד. בחרו באפשרות עמוד בודד כדי לבדוק שאתר מחזיר טקסט שימושי, לפני שאתם משלמים על סריקת אתר.
- בדקו לפי תזמון. הוסיפו לתהליך רכיב טריגר מתוזמן לסיכום יומי או לתהליך שמגיב לחדשות.
- השאירו רק את מה שצריך. חלצו שדה אחד, כגון
title, לפני רכיב שרץ פעם אחת לכל פריט, כדי שכל הרצה תקבל טקסט קצר ונקי.
דרך ה-API
הנתיב POST /v1/web-scrape מריץ את הרכיב דרך קוד. סריקת אתר יכולה להימשך יותר ממגבלת הזמן של כ-100 שניות לבקשת HTTP אחת, ולכן בסריקות שלחו "respondAsync": true. הקריאה עונה אז מיד עם jobId, ואת העמודים מקבלים מהמשימה שהסתיימה עם GET /v1/jobs/:id. בלי הדגל הזה, הבקשה נשארת פתוחה עד שהגריפה מסתיימת. בסריקה שנמשכת יותר ממגבלת הבקשה, התגובה נקטעת בדרך חזרה, אף שהמשימה מסתיימת והקרדיטים נגבים. ראו את דפי ה-API הרצת רכיב יחיד ומשימות.
שאלות נפוצות
מה רכיב גריפת אתר יכול למשוך?
רכיב גריפת אתר מושך תוצאות חיפוש ב-Google, את הטקסט של עמוד אינטרנט אחד או של עד 20 עמודים מאתר כ-Markdown, את הפריטים של פיד RSS או Atom ואת הפוסטים האחרונים של פרופיל בטיקטוק. כל מקור מחזיר רשימת פריטים ב-JSON.
כמה קרדיטים עולה רכיב גריפת אתר?
המחיר של רכיב גריפת אתר נקבע לפי המקור. חיפוש ב-Google עולה 33 קרדיטים להרצה, עמוד אינטרנט אחד 11, סריקת אתר של עד 20 עמודים 55, פיד RSS או Atom 11 וטיקטוק 11. על הרצה שנכשלה מקבלים החזר מלא.
האם רכיב גריפת אתר יכול לקרוא אתר שלם?
כן. ברכיב גריפת אתר, בחרו את המקור תוכן אתר (Markdown), ובתפריט מצב סריקה בחרו באפשרות סריקת אתר. הרכיב עובר בין הקישורים של האתר החל מכתובת ההתחלה, עד 20 עמודים, ומחזיר כל עמוד כ-Markdown.
איך בודקים פיד או חיפוש כל יום?
הוסיפו לתהליך רכיב טריגר מתוזמן, הגדירו את התזמון, למשל כל יום ב-9:00, והפעילו את התזמון. כל הרצה מתוזמנת מושכת תוצאות חדשות ומריצה את הרכיבים שאחרי רכיב גריפת אתר.
מה קורה כשהגריפה לא מוצאת כלום?
ההרצה של רכיב גריפת אתר מסתיימת ומחויבת, והרכיב שומר את התוצאה הטובה האחרונה שלו לצד התוצאה הריקה. בפיד, אם הכתובת מחזירה משהו שהוא לא פיד, ההרצה נכשלת במקום זאת, והקרדיטים מוחזרים.
דפים קשורים
יצירת טקסט - כל LLM
חילוץ שדה
טריגר מתוזמן
רשימה
אוטומציות
עודכן לאחרונה