728x90
#크롤링, 스크래핑, 파싱 스크래핑(Scraping): HTTP를 이용하여 웹 사이트의 데이터를 수집, 가공하는 행위 크롤링(Crawling): 스크래핑의 일종, 특정 웹 페이지에 대한 데이터를 추출해 내는 행위 파싱(parsing): 어떤 페이지에서 원하는 데이터를 가공하는 행위(토큰 분해, 트리생성) 연관 키워드: 스파이더(spider), 봇(bot), 지능 에이전트 #어떻게 크롤링을 하는가 사용하는 언어: (주로)Python 사용하는 Python 라이브러리: beautifulsoup, selenium 연관 키워드: webdriver(headless), httrck, wget-curl, WebZip #무엇이 문제인가 형법상 크롤링에 대해 명시적으로 언급하지는 않으나, 사이트의 데이터를 수집하고 가공하..
작년, 약 2년 전에 가까운 2019년 1월의 나는 철학책 20권을 읽었다. 책 한 권과 독후감을 내면 용돈을 권 수마다 주겠다는 부모님의 말에 그랬었다. 단, 조건으로 읽는 책은 철학분야여야 했다. 그래서 나는 아무 철학책을 읽기 시작했다. 별다른 선택기준 없이 고른 20권의 책 중 반 이상에 필히 언급되는 인물로 '소크라테스', 그의 제자 '플라톤', 또 그의 제자 '아리스토텔레스'가 있었다. 나는 사실 기억력이 정말 좋지 않다. 그렇기에 이 책이 내가 아는 내용이라 예상 못했으나 그 머리 나쁜 나 조차도 기억하는 내용이 책의 시작부터 적혀있었다. 아테나 재판소에서 본인 사형처후에 대한 변론을 하는 소크라테스에 대한 기록, 그 유명한 아테나재판장에서의 변론이었다. 철학은 우리가 왜 존재하느냐에서부터 ..
#HTTP 응답코드?HyperText Transfer Protocal의 준말인 HTTP는 요청/응답 프로토콜입니다.클라이언트(웹브라우저)와 서버 사이에서 이 HTTP를 통해 요청와 응답을 주고받는 것이죠.우리가 웹브라우저를 통해 원하는 페이지를 요청을 했을 시, 맞는 정보를 서버가 나타내 줄 수있고 오류도 날 수가 있습니다. 이 때 404 등의 오류창도 이러한 응답중 하나로 마주하게 됩니다. 이 숫자들은 무작위 숫자가 아닌 어떤 오류를 가지고 있는지를 나타내기에 웹개발자가 각 코드를 숙지하는 것을 권장합니다. 크게 다음과 같이 분류할 수 있습니다.1XX조건부 응답2XX성공3XX리다이렉션 완료4XX요청 오류5XX서버오류 1XX: 상태-라인& 선택적 헤더만 포함하는 임시 응답을 나타냄, 빈 라인에서 종결1..
*1월 (다이어트 50일 정도, 6kg 감량함) 키: 156.2 체중:45.3 체지방량:13.1 체지방률:29 하루 700kcal 제한 등, 무리한 식단조절로 체중만 줄은 상태 *7월. 키:156.2 체중: 44.5 체지방량:13.4 체지방률:30 폭식-절식-소식 무한반복중이었던 시기. 체중은 줄었으나 근육량 감소로 몸상태 더 악화.(여기까지 유산소 위주로만 했던 반년.) 표준체중으로 현재체중기준으로도 근육량이 대부분 정상~정상이하(특히 상체 팔, 70~100%) *12월. 현재 키: 156.7 (왜 컸지?) 몸무게: 42.2 체지방량:8.2 (5키로 감량) 체지방률:19.4 (10퍼센트 이상 감소) 하루 한시간 이상 근력, 유산소 + 하루 만 보 걷기 + 최소 1100kcal 챙겨먹기, 단백질 60g이..
거대한 해킹 2019년 1월 26일 공개 114분 러닝타임 케임브리지 애널리타카 업체에 대한 내부고발, 브리트니 카이저 시점의 전개 "완전히 공개해주세요. 어디서 데이터를 수집했고, 어떻게 가공했으며 누구와 공유했는지 또 그런것을 거부할 수 있는지. " #이런 내용 "정말로 뭐랄까, 기술로 인한 최악의 시나리오가 벌어진 거였다고 할까요." "여러분 친구 중에 그 앱을 쓰는 사람이 있으면 제가 여러분의 모든 데이터를 수집해 놨을지도 몰라요. " "어떤 경우에는 개인 메시지도 수집했어요. 단순히 유권자가 아닌 하나의 인격으로 보고 접근하게 됩니다. 미국 전역에 있는 유권자들의 심리학적 프로필을 만들기 위해 수십만 명을 접촉할 필요가 없는 거죠." "그런 사람들을 집중 공략 했죠. 블로그, 웹사이트 글, 동영..