웹 스크래핑

웹 스크래핑 노드는 웹에서 콘텐츠를 가져와 항목의 JSON 목록으로 반환합니다. 소스는 네 가지입니다. Google Search 결과, 웹 페이지나 사이트 전체의 텍스트, RSS 또는 Atom 피드의 항목, TikTok 프로필의 최근 게시물입니다. 결과를 텍스트 생성 - 모든 LLM 노드에 연결해 요약하거나 다시 쓰게 하거나, 필드 추출에 연결해 항목마다 생성을 한 번씩 실행하세요.

사용 시기

• 키워드의 검색 결과를 콘텐츠 워크플로로 가져옵니다.
• 웹 페이지나 사이트를 Markdown으로 읽고, 텍스트 생성 - 모든 LLM 노드가 요약하거나 사실을 추출하게 합니다.
• 뉴스 사이트, 블로그, YouTube 채널의 최신 항목을 일정에 따라 읽습니다.
• 분석이나 새 아이디어를 위해 TikTok 프로필의 최근 게시물을 모읍니다.

빠른 시작

소스

모든 텍스트 필드에는 {}를 쓸 수 있습니다. URL / 검색어 입력에 노드가 연결되어 있으면 그 노드의 텍스트가 {}를 대체합니다. 그러면 텍스트나 목록 노드로 검색어나 주소를 정할 수 있습니다.

RSS 피드와 Atom 피드

RSS 피드 소스는 두 가지 피드 형식을 모두 읽습니다. 이전 버전인 0.9x와 1.0을 포함한 RSS 2.0, 그리고 Atom입니다. YouTube 채널 피드(https://www.youtube.com/feeds/videos.xml?channel_id=...), GitHub releases.atom 피드, 대부분의 블로그 플랫폼이 게시하는 피드도 여기에 포함됩니다.

피드 형식과 관계없이 모든 항목에는 같은 다섯 필드가 있습니다.

피드 서버에 일시적인 문제가 있으면 노드는 다시 시도하며, 30초 안에 최대 3번까지 요청합니다. 시간이 다 된 실행은 “RSS fetch timed out” 오류로 실패합니다. 웹 페이지나 오류 페이지처럼 피드가 아닌 것을 반환하는 주소는 실행을 실패시킵니다. 오류에는 그 주소가 무엇을 반환했는지 나옵니다.

결과

실행이 끝나면 노드에 처음 몇 개 항목이 표시됩니다. 설정 패널의 결과 탭에는 모든 항목이 목록 보기와 원본 JSON 보기로 나오며, JSON 복사 버튼과 JSON 다운로드 버튼이 있습니다. 모든 항목은 검색 결과 페이지, 피드 항목, TikTok 동영상 같은 출처로 연결됩니다. 결과를 바탕으로 작업하기 전에 출처에서 확인하세요.

출력 JSON은 항목 목록입니다. 흔히 쓰는 방법은 세 가지입니다.

• 요약하거나 다시 쓰기. 텍스트 생성 - 모든 LLM 노드의 프롬프트 입력에 연결하세요. JSON은 텍스트로 전달됩니다. JSON이 요청이 되도록 사용자 프롬프트는 비워 두고, 작업 내용은 지시 사항(시스템 프롬프트)에 쓰세요.
• 필드 하나 가져오기. 필드 추출에 연결하세요. 예를 들어 모든 피드 항목의 title을 목록으로 가져올 수 있습니다.
• 항목마다 한 번씩 실행. 추출한 값의 목록을 생성 노드로 보내면, 생성 노드가 값마다 한 번씩 실행됩니다. 목록과 일괄 처리를 참고하세요.

크레딧

노드의 실행 버튼, 각 크롤링 모드 옆의 가격, 워크플로 실행의 합계에는 모두 실제로 내는 가격이 표시됩니다.

• 실패한 실행은 전액 환불됩니다.
• 아무것도 찾지 못한 실행은 청구됩니다. 실행이 완료되었으므로 그 소스의 가격이 청구되며, 노드는 빈 결과 옆에 마지막 정상 결과를 유지합니다. RSS 피드 소스에서는 항목이 없는 실제 피드도 아무것도 찾지 못한 것으로 봅니다.

긴 크롤링

사이트 크롤링은 최대 20페이지를 따라가며, 몇 분이 걸리는 경우가 많습니다. 편집기에서도, 워크플로 실행에서도 따로 할 일은 없습니다. 노드가 기다리고, 크롤링이 끝나면 페이지가 노드에 나타납니다. 크롤링이 백그라운드에서 끝난 뒤 워크플로를 다시 열어도 결과가 그대로 있습니다.

셀프 호스팅 설치에서는 Google Search, 웹사이트 콘텐츠, TikTok 소스에 공급자 키에서 설명하는 웹 스크래핑 키나 Nodaro Cloud 연결이 필요합니다. RSS 피드 소스에는 둘 다 필요하지 않습니다.

팁

• 한 페이지로 시작하세요. 사이트 크롤링 비용을 내기 전에 단일 페이지로 사이트가 쓸 만한 텍스트를 반환하는지 확인하세요.
• 일정에 따라 확인하세요. 매일 받는 요약이나 뉴스에 따라 움직이는 워크플로에는 일정 트리거를 추가하세요.
• 필요한 것만 남기세요. 항목마다 한 번씩 실행되는 노드 앞에서 title 같은 필드 하나를 추출하면, 실행마다 짧고 깔끔한 텍스트를 받습니다.

API에서 사용

POST /v1/web-scrape는 코드에서 노드를 실행합니다. 사이트 크롤링은 HTTP 요청 하나의 제한 시간인 약 100초보다 오래 걸릴 수 있으므로, 크롤링에는 "respondAsync": true를 보내세요. 그러면 호출이 바로 jobId로 응답하고, 완료된 작업의 페이지는 GET /v1/jobs/:id로 읽습니다. 이 플래그가 없으면 요청은 스크래핑이 끝날 때까지 열려 있습니다. 요청 제한 시간을 넘긴 크롤링은 응답이 돌아오는 도중에 끊기지만, 작업은 완료되고 청구됩니다. 단일 노드 실행과 작업을 참고하세요.