다음은 Windows용 최고의 무료 웹 스크레이퍼 소프트웨어 목록입니다 . 이 소프트웨어는 많은 양의 데이터로 작업해야 할 때 매우 유용합니다. 이러한 소프트웨어 중 일부는 매우 기본적이고 추가 지식이 필요하지 않은 반면, 다른 소프트웨어는 정규 표현식 에 대한 지식 과 JavaScript 와 같은 일부 다른 분야에 대한 지식이 필요합니다 . 당신에게 유용한 데이터가 아름답게 정리되어 있습니다. 이들 중 일부는 버튼 클릭으로 데이터가 자동으로 검색되도록 작업을 자동화할 수도 있습니다. 할당된 시간 제한 후에 데이터가 업데이트되도록 기간을 지정할 수도 있습니다.
최고의 무료 웹 스크레이퍼 소프트웨어:
내가 가장 좋아하는 웹 스크레이퍼 소프트웨어는 웹 스크레이퍼 입니다 . 그것은 매우 간단하고 가볍고 사용하기 쉽다는 사실 때문입니다. 링크, 텍스트, 테이블 및 더 많은 요소와 같은 웹에서 다양한 유형의 데이터를 스크랩하는 데 사용할 수 있습니다. 여기에서 여러 URL을 추가할 수도 있습니다. 선택기 그래프도 생성합니다. 스크랩한 데이터는 CSV 형식으로 내보낼 수 있습니다. 로컬 스토리지 또는 CouchDB 에 데이터를 저장하는 옵션을 선택할 수도 있습니다 .
웹 스크레이퍼
Web Scraper 는 웹사이트에서 데이터를 스크랩하는 데 사용되는 Chrome 플러그인 입니다 . 텍스트, 링크, 팝업 링크, 이미지, 테이블, 요소 속성, HTML, 요소 등과 같은 다양한 유형의 데이터 정보를 얻을 수 있는 좋은 웹 스크래핑 소프트웨어입니다 . Web Scraper 기능을 사용하려면 다음 단계를 수행해야 합니다.
- 크롬 확장 프로그램을 설치합니다.
- F12 또는 Ctrl+Shift+I를 클릭하여 개발자 도구로 이동합니다.
- 웹 스크레이퍼 탭으로 이동합니다.
- 새 사이트맵 만들기 버튼을 클릭 하고 사이트맵 이름과 시작 URL을 추가합니다.
- + 버튼을 클릭하여 여기에 여러 URL을 추가할 수 있습니다.
- 기존 사이트맵으로 작업하고 싶은 경우 사이트맵 JSON, 사이트맵 이름을 입력합니다.
- 그런 다음 사이트맵을 쉽게 가져올 수 있습니다.
- 사이트맵 생성 시 새 선택기를 추가하는 옵션을 선택합니다.
- 여기에서 선택기 ID, 유형, 선택기, 정규식, 지연 및 상위 선택기를 추가해야 합니다.
- 선택기 유형은 텍스트, 링크, 팝업 링크, 이미지, 테이블, 요소 특성, HTML, 요소, 요소 스크롤 다운, 요소 클릭 또는 그룹화일 수 있습니다.
- 사이트맵의 속성에 따라 선택기 그래프를 생성할 수 있습니다.
- 스크랩 버튼을 클릭하여 데이터를 스크랩합니다.
- 그런 다음 CSV 형식으로 스크랩한 데이터를 다운로드하는 CSV로 데이터 내보내기 버튼을 클릭합니다.
- 사이트맵도 내보낼 수 있고, 메타데이터도 편집할 수 있으며, 선택기를 편집 및 삭제할 수 있습니다.
스토리지 설정에서 로컬 스토리지 또는 CouchDB가 될 수 있는 스토리지 옵션을 선택할 수 있습니다. CouchDB 옵션을 선택한 경우 Sitemap db 및 Data db를 입력해야 합니다.
데이터 스크레이퍼
Data Scraper 는 데이터 마이닝 소프트웨어로 사용할 수 있는 또 다른 데이터 스크래핑 Chrome 확장 프로그램입니다. 성공적으로 수행하려면 다음 단계를 수행하십시오.
- 크롬 확장 프로그램을 설치합니다. 이렇게 하면 Chrome에 상황에 맞는 메뉴가 추가됩니다.
- 데이터를 가져오려는 웹사이트로 이동합니다.
- 콘텐츠 샘플을 선택하고 마우스 오른쪽 버튼을 클릭한 다음 상황에 맞는 메뉴 DataMiner-Get Similar를 선택합니다.
- 그런 다음 레시피, 커뮤니티 레시피, 컨테이너, 열, 다음 페이지 탐색 및 필터를 보여주는 테이블의 전체 유사 데이터가 표시되는 스크레이퍼 창이 표시됩니다.
- 일부 열 세부 정보를 추가하거나 제거할 수 있습니다.
- 이렇게 스크랩한 데이터는 클립보드에 복사하거나 CSV로 다운로드할 수 있습니다.
다음 페이지 탐색 탭에서 페이지가 매겨진 페이지를 자동으로 탐색하는 옵션을 선택할 수 있습니다. 여기에서 다음 페이지 요소 Xpath의 옵션을 설정하고 URL 또는 클릭을 설정하고 자동 진행 대기 시간을 설정합니다. 자동 진행을 시작하는 옵션을 선택할 수도 있습니다. Google, ebay, LinkedIn 및 더 많은 웹사이트 와 같은 여러 웹사이트에서 데이터 마이너를 사용하려면 먼저 로그인해야 합니다.
OutWit 허브 라이트
OutWit Hub Light는 웹사이트에서 데이터를 추출하는 데 사용할 수 있는 매우 간단한 소프트웨어입니다.
- 데이터를 검색할 URL을 입력하기만 하면 됩니다.
- 그러면 웹 페이지가 표시됩니다.
- 링크, 문서, 이미지, 연락처, 데이터, 테이블, 목록, 텍스트, 단어, 뉴스, 소스, 자동화 등 추출할 데이터 유형을 선택하고 더 많은 데이터 유형을 선택합니다.
- 선택한 데이터 유형에 따라 데이터가 추출됩니다.
- 추출된 데이터가 표시됩니다.
- 가져오고 내보낼 열의 옵션을 선택할 수 있는 데이터 내보내기 옵션을 선택할 수 있습니다.
- 특정 속성이 있는 행을 선택하고 옵션을 제한하도록 옵션을 설정할 수 있습니다.
- 옵션은 catch on demand, auto catch, empty on demand 및 auto empty 로 설정할 수 있습니다 .
- 여기에서 소스 파일을 보고 캐치를 Excel, JSON, CSV, SQL, XML, HTML 등으로 내보낼 수도 있습니다.
- 빠른 스크랩 기능을 선택할 수도 있습니다.
비주얼 스크레이퍼
VISUALSCRAPER 는 다양한 유형의 데이터를 추출하는 데 사용할 수 있는 간단한 웹 데이터 추출 소프트웨어입니다. 사용이 매우 간단하며 그렇게 하려면 다음 단계를 수행해야 합니다.
- 웹 사이트에 등록하고 소프트웨어를 다운로드하십시오.
- 그런 다음 설치 후 소프트웨어에 다시 로그인해야 합니다.
- 데이터를 추출해야 하는 링크를 입력합니다.
- 그런 다음 항목을 클릭하는 옵션을 선택하고, 영역을 클릭하고, 추출할 데이터 유형을 선택하고, 다른 데이터 유형으로 분류하면 됩니다.
- 텍스트나 이미지를 캡처하고, 사용자 입력을 설정하고, 항목 목록을 캡처하고, 더 많은 작업을 수행하는 데 사용할 수도 있습니다.
- 기본값 캡처, 스크린샷 캡처, 브라우저 쿠키 지우기, 새 페이지 로드, 페이지 새로 고침 및 스크롤 작업 옵션 선택 옵션을 선택할 수도 있습니다 .
- 또한 설정 탭에서 자동 로그인 옵션, 이미지 다운로드 비활성화, 브라우저 확대/축소 비활성화 등의 옵션을 선택할 수 있습니다.
아이 로봇
IRobot 은 스크린 스크래핑에 사용할 수 있는 좋은 소프트웨어입니다. 이 소프트웨어를 사용하여 웹사이트를 스크랩하는 방법을 알려면 다음 단계를 수행해야 합니다.
- 데이터를 다운로드할 URL을 입력합니다.
- 탐색 작업을 실행하는 옵션을 선택하고 필요한 경우 고유한 탐색 작업 목록을 만듭니다.
- 링크 목록, 데이터 가져오기, 테이블 가져오기, 양식 제출, 로그온 양식, 오픈 프레임, 이메일 전송 및 일정 만들기와 같은 다양한 유형의 데이터를 추출하는 옵션을 선택하는 페이지에서 다양한 작업을 수행할 수 있습니다 .
- 이렇게 생성된 데이터는 클립보드에 복사하거나 CSV로 다운로드할 수 있습니다.
- 이와 함께 작업을 자동화하기 위해 로봇 생성과 같은 다양한 작업을 수행할 수도 있습니다.
- 언제든지 작업을 모니터링할 수 있도록 로그 파일도 생성됩니다.
- 여기에서 내비게이션 속도, 팝업, 자동 브라우징 등 다양한 옵션을 선택할 수도 있습니다.
데이터 도구
DataTool 은 간단하고 사용하기 쉬운 무료 웹스케이핑 소프트웨어입니다.
- 소프트웨어를 설치한 다음 데이터를 스크랩하려는 웹사이트로 이동하기만 하면 됩니다.
- 창을 여는 DataTool 버튼을 클릭합니다 .
- 그런 다음 여기에서 콘텐츠를 찾아보기 위한 설정을 추가하는 옵션을 선택할 수 있습니다.
- 작업 탭에서 ” 새 작업 ” 버튼을 클릭합니다.
- 콘텐츠 추가 모드, 다음 요소 모드 설정 또는 끌 수 있는 선택 모드를 설정합니다.
- 다운로드할 데이터가 포함된 요소를 선택하고 세부 정보를 입력합니다.
- 그런 다음 데이터 가져오기 옵션을 클릭합니다.
- 그런 다음 데이터가 수집되어 테이블 형식으로 표시됩니다.
- 그런 다음 여기에서 다른 옵션, 즉 출력 파일 이름, 이미지 위치, 총 행 수, 수정 옵션 및 원본 이미지 이름 유지 여부를 선택할 수도 있습니다 .
- 데이터는 CSV 유니코드, Excel, SQL 스크립트, SQL, XML 및 HTML과 같은 다른 파일 형식으로 저장할 수 있습니다 .
GetData.IO
GetData.IO 는 웹사이트에서 데이터를 스크랩하는 데 사용할 수 있는 간단한 Chrome 확장 프로그램입니다.
- 먼저 웹 사이트에 등록해야 합니다.
- 확장 프로그램을 설치한 후 웹 사이트를 탐색하고 GetData.IO 버튼을 클릭합니다.
- 그러면 하단에 열을 추가할 수 있는 옵션이 제공됩니다.
- 열 이름을 지정하고 적절한 데이터 유형을 클릭하여 세부 정보를 선택합니다.
- 완료 버튼을 클릭하면 목록이 생성된 웹사이트로 이동합니다.
- 여기에서 크롤러 설정 세부 정보, 크롤러 정의, 크롤러 데이터 미리 보기 및 크롤러 미리 보기 로그를 볼 수 있습니다.
- 원할 때 언제든지 데이터 크롤러를 일시 중지할 수도 있습니다.
- 저장 버튼을 클릭하여 데이터 파일을 CSV, JSON 또는 HTML로 다운로드합니다.
- 크롤러 설정 세부 정보, 크롤러 정의 및 연결된 데이터 세트를 볼 수도 있습니다.
- 데이터 결과는 요구 사항에 따라 추가로 편집하거나 삭제할 수 있습니다.
비명을 지르는 개구리 SEO 거미
Screaming Frog SEO Spider는 주로 SEO 목적으로 웹사이트에서 데이터를 스크랩하는 데 사용되는 간단한 소프트웨어입니다. 무료 버전은 500개의 URL 스크랩 제한이 있습니다.
- 이를 사용하려면 웹사이트 URL을 입력하기만 하면 결과가 표시됩니다.
- 따라서 생성된 데이터는 자동으로 생성되어 링크, H1, H2, 메타 키워드 길이, 경로, 주소, 콘텐츠 등과 같은 여러 탭으로 분류됩니다.
- 트리 또는 목록이 될 수 있는 보기를 선택하십시오.
- 내부, 외부, 프로토콜, 응답 코드, URI, 페이지 제목, 메타 설명, 메타 키워드, H1, H2, 이미지, 지시문, AJAX, 사용자 정의, 분석 및 검색 탭을 선택하여 사용 가능한 다양한 유형의 데이터 항목을 볼 수도 있습니다 . 콘솔 .
- 응답 시간, 사이트 구조 및 개요와 같은 다른 정보도 표시됩니다 .
- URL 정보, 인링크, 아웃링크, 이미지 정보 및 serp 스니펫을 볼 수도 있습니다 .
- 사이트맵을 CSV, XLS 또는 XLSX 로 내보낼 수도 있습니다 .
오픈오피스 계산기
OpenOffice Calc는 웹에서 데이터를 스크랩하는 데에도 사용할 수 있는 널리 사용되는 스프레드시트 응용 프로그램입니다. 그것은 매우 간단하고 사용하기 쉽습니다. 이 기능을 사용하려면 다음 단계를 수행해야 합니다.
- OpenOffice 계산기를 엽니다. 삽입 탭으로 이동하여 ” 외부 데이터 링크 ” 옵션을 선택합니다 .
- 외부 데이터 소스의 URL을 입력하고 Enter 키를 누릅니다.
- 그런 다음 사용 가능한 테이블/데이터 범위가 표시됩니다.
- 가져오려는 적절한 목록을 선택합니다.
- 온라인 데이터에서 목록을 최신 상태로 유지하려면 필요한 경우 자동 업데이트 옵션을 선택하십시오.
- 업데이트 시간을 설정할 수도 있습니다.
- 그런 다음 자신의 데이터를 추가하고 사용 가능한 다른 옵션을 선택할 수도 있습니다.
- 그런 다음 데이터를 PDF, HTML, ODS, XML, CSV, XLS 등과 같은 널리 사용되는 다양한 형식으로 내보낼 수도 있습니다.
스크레이퍼
Scraper 는 웹사이트에서 데이터를 스크랩하는 간단한 도구입니다. 그러기 위해서는 아래 명시된 단계를 수행해야 합니다.
- 크롬 확장 프로그램을 설치합니다 . 이렇게 하면 Chrome에 상황에 맞는 메뉴가 추가됩니다 .
- 데이터를 가져오려는 웹사이트를 찾습니다.
- 콘텐츠의 샘플을 선택하고 마우스 오른쪽 버튼을 클릭한 다음 상황에 맞는 메뉴 Scrape similar 를 선택합니다 .
- 그런 다음 선택기, 열 및 필터를 보여주는 테이블의 전체 유사 데이터가 표시되는 스크레이퍼 창이 표시됩니다.
- 일부 열 세부 정보를 추가하거나 제거하려는 경우 그렇게 할 수 있습니다.
- 사전 설정을 저장하여 나중에 저장할 수도 있습니다.
- 이렇게 스크랩한 데이터는 클립보드에 복사하거나 Google 문서도구로 내보낼 수 있습니다.
iMacros
iMacros 는 웹 스크래핑을 위한 매우 인기 있는 소프트웨어입니다. 원래 Firefox용 확장 프로그램으로 제공되었지만 이제 Chrome 및 IE에서도 사용할 수 있습니다. 이것은 긁어낼 대상과 긁어내는 방법을 “가르칠” 수 있는 매우 간단한 확장 프로그램입니다. 기본적으로 페이지로 이동하여 수행해야 하는 작업을 수행하면 이 확장 프로그램이 모든 작업을 기록합니다. 그런 다음 버튼 클릭으로 모든 작업을 반복할 수 있습니다. 이 기능을 최대한 활용하기 위해 녹음된 스크립트를 보고 필요에 따라 편집할 수 있습니다. 예를 들어 확장 실행을 시작할 때 값을 입력하라는 메시지를 표시하는 변수를 스크립트에 추가할 수 있습니다. 이 확장 프로그램은 널리 사용되어 인기 있는 작업을 수행하기 위한 스크립트를 웹에서 쉽게 찾을 수 있습니다.
웹수확
Web-Harvest 는 웹사이트에서 데이터를 추출하는 데 사용할 수 있는 우수한 Java 애플리케이션입니다. 이렇게 하려면 다음 단계를 수행해야 합니다.
- 새 구성 파일을 만듭니다. 입력하려는 코드를 입력하고 구성 파일을 저장합니다.
- 파일을 실행하고 입력한 코드에 따라 데이터가 검색됩니다.
- 데이터 유형에 따라 텍스트, 이미지, XML, HTML 등과 같은 다양한 형식으로 데이터를 볼 수 있습니다.
- 또한 추출 설정을 수정하고 사전 정의된 구성 파일 중 일부를 활용하여 실행할 수 있습니다.
- 계층 패널, 로그 패널, 라인 번호를 표시하고 실시간으로 동적으로 프로세서를 찾도록 설정을 수정할 수도 있습니다 .
정규식 스크레이퍼
Regex Scraper는 웹사이트에서 데이터를 추출하기 위해 정규식을 사용하는 간단한 Chrome 확장 프로그램입니다. 이 기능을 사용하려면 정규식에 대한 기본 개념이 있어야 합니다.
- Chrome 확장 프로그램을 설치하고 데이터를 추출하려는 웹사이트로 이동합니다.
- 그런 다음 Regex Scraper 플러그인 버튼을 클릭합니다.
- 실행할 정규식을 입력합니다.
- 필요한 경우 대체 옵션을 선택할 수도 있습니다.
- 전역, 대소문자 구분, 한 줄 및 여러 줄과 같은 다양한 수정자를 적용할 수도 있습니다 .
- 그런 다음 Regex 적용 버튼을 클릭하십시오 .
- 결과가 표시된 후 클립보드에 복사하는 옵션을 선택하거나 Regex를 지웁니다.
옐로우페이지로봇(YPR)
YellowPageRobot(YPR)은 Yellow Pages 및 기타 웹사이트 에서 데이터를 추출하는 데 도움이 되는 간단한 소프트웨어입니다 .
- 소프트웨어를 열면 Yellow Pages 페이지가 자동으로 열립니다.
- URL을 제공하여 자신의 웹사이트 링크를 추가할 수도 있습니다.
- 데이터를 추출할 웹페이지로 이동합니다.
- 그런 다음 웹사이트에서 데이터를 캡처하는 캡처 버튼을 클릭합니다.
- 캡처된 데이터는 CSV 또는 Excel로 저장할 수 있습니다.
- 여기에서 No Pix 버튼 을 클릭하여 사진을 로드하지 않는 옵션을 선택할 수도 있습니다 .
- 무료 버전에서는 단일 페이지에서만 데이터를 캡처할 수 있습니다.
다피질라 Table2Clipboard
Dafizilla Table2Clipboard는 웹 페이지에서 표를 추출하는 데 도움이 되는 간단한 Firefox 확장 프로그램입니다. 편집 탭과 브라우저 컨텍스트 메뉴에 컨텍스트 메뉴를 추가합니다.
- 웹 사이트를 탐색하고 편집 탭을 클릭합니다.
- 여기서 모든 테이블을 복사하는 옵션이 제공됩니다.
- Ctrl 탭을 사용하고 마우스로 클릭하면 개별 셀 또는 셀 그룹을 선택할 수 있습니다.
- 브라우저 상황에 맞는 메뉴에는 테이블을 클릭한 후 전체 테이블 복사, 행 선택, 열 선택, 테이블 선택 옵션도 제공됩니다.
- 서식은 복사할 때 그대로 유지됩니다.
왼쪽
DEiXTo 는 간단하고 기능이 풍부한 웹 데이터 추출 소프트웨어입니다. 또한 사용하기 매우 쉽습니다.
- 웹사이트 URL을 입력하고 찾아보기를 클릭하세요! 단추.
- 그렇게 하면 DOM 트리, 보조 레코드 인스턴스, 레코드 인스턴스 – 작업 패턴 등과 같은 다양한 세부 정보가 표시됩니다.
- 여기에서 특정 데이터를 다운로드하기 위해 추출 패턴을 선택하고 동일하게 적용할 수도 있습니다.
- 그런 다음 데이터를 TXT로 저장할 수도 있습니다.
- DOM 트리를 빌드하는 동안 일부 HTML 태그는 무시될 수도 있습니다.
- 다른 탭을 사용하여 출력을 보고 다른 속성을 수정할 수 있습니다.
테이블 캡처
Table Capture는 웹사이트에서 직접 표의 데이터를 복사하는 옵션을 선택할 수 있는 간단한 Chrome 확장 프로그램입니다. 이렇게 하려면 다음 단계를 수행하기만 하면 됩니다.
- Chrome 확장 프로그램을 설치하고 웹사이트를 탐색합니다.
- 웹 페이지에서 테이블이 발견되면 확장 색상이 빨간색으로 변경됩니다.
- 확장을 클릭하면 사용 가능한 테이블 수가 표시됩니다.
- 표를 클립보드나 Google 문서로 복사하는 옵션도 제공됩니다.
- 온라인으로 표시하거나 창을 분리하기 위해 다른 옵션을 선택할 수도 있습니다.
달시 리퍼
Darcy Ripper 는 웹사이트에서 데이터를 스크랩하는 데 사용되는 간단한 Java 애플리케이션입니다. 이 기능을 사용하려면 정규 표현식 에 대한 지식이 필요합니다 .
- 새로 만들기 버튼으로 이동하여 웹사이트의 세부 정보를 입력합니다.
- 사용자 지정 규칙 탭에서 요청 필터 탭 또는 회신 콘텐츠 규칙 탭에서 적용하려는 정규식을 추가합니다.
- 그러면 데이터가 스크랩되어 DJP로 저장할 수 있습니다.
스크린 스크레이퍼 작업대
screen-scraper workbench는 웹사이트에서 데이터를 스크랩하는 데 도움이 되는 소프트웨어입니다. 이렇게 하려면 아래에 지정된 다음 단계를 수행하기만 하면 됩니다.
- 새로운 스크래핑 세션 옵션을 선택하십시오.
- 이름, URL, 시퀀스 및 스크립트와 같은 다양한 스크래핑 속성을 추가합니다.
- 다른 매개변수와 추출기 패턴을 추가할 수도 있습니다.
- 마지막 요청과 마지막 응답을 볼 수 있는 옵션도 제공됩니다.
Import.io
Import.io 는 매우 강력한 데이터 스크래핑 소프트웨어입니다. 소프트웨어를 다운로드하면 데이터를 다운로드할 페이지를 탐색하라는 메시지가 표시됩니다. 그런 다음 다운로드할 필드를 강조 표시해야 합니다. 이를 바탕으로 페이지에서 유사한 데이터를 찾아 다운로드할 수 있습니다. 페이지 매김도 지원합니다. import.io에 작동 방법을 가르친 후에는 스크립트를 다시 실행하여 최신 데이터를 얻을 수 있습니다. 대용량 데이터를 지원하며 여전히 완전 무료입니다.