크롤링 기초

📡 1. 크롤링 (Crawling)1-1. 개요🕸️ 1-1-1. 크롤링이란?**크롤링(Crawling)**은 웹 페이지나 API로부터 원하는 정보를 자동으로 수집하는 기술이다.자동화된 프로그램인 크롤러(Crawler) 또는 **스파이더(Spider)**가 웹 페이지를 탐색하며 데이터를 추출한다.머신러닝 학습, 데이터 분석, 시장 조사 등 대량의 데이터 수집에 효과적이다.🔍 1-1-2. 크롤링 vs 스크래핑구분웹 크롤링웹 스크래핑목적웹 전체 탐색 및 페이지 수집특정 데이터 추출범위광범위 (다수 사이트)제한적 (특정 페이지)방식링크를 따라 페이지 순회HTML 구조 분석 및 파싱활용 예시검색 엔진 인덱싱가격 비교, 트렌드 분석윤리/법robots.txt 준수저작권·이용약관 준수💡 robots.txt: 크..
Web Crawling 2025. 5. 19. 01:43
1