[개발자기초지식] 크롤링용어와 robot 간단소개

#크롤링, 스크래핑, 파싱 스크래핑(Scraping): HTTP를 이용하여 웹 사이트의 데이터를 수집, 가공하는 행위 크롤링(Crawling): 스크래핑의 일종, 특정 웹 페이지에 대한 데이터를 추출해 내는 행위 파싱(parsing): 어떤 페이지에서 원하는 데이터를 가공하는 행위(토큰 분해, 트리생성) 연관 키워드: 스파이더(spider), 봇(bot), 지능 에이전트 #어떻게 크롤링을 하는가 사용하는 언어: (주로)Python 사용하는 Python 라이브러리: beautifulsoup, selenium 연관 키워드: webdriver(headless), httrck, wget-curl, WebZip #무엇이 문제인가 형법상 크롤링에 대해 명시적으로 언급하지는 않으나, 사이트의 데이터를 수집하고 가공하..