알아두면쓸데있는신기한잡학사전/고군분투흔적들57 [Web] Python - 웹스크래핑 웹 스크래핑이란 : 웹 스크래핑(web scraping)은 웹 페이지에서 우리가 원하는 부분의 데이터를 수집해오는 것을 뜻한다. - 한국에서는 같은 작업을 크롤링 crawling이라는 용어로 혼용해서 쓰는 경우가 많다. - 원래 크롤링은 자동화하여 주기적으로 웹 상에서 페이지들을 돌아다니며 분류/색인하고 업데이트된 부분을 찾는 등의 일을 하는 것을 뜻한다. - 구글 검색을 할 때는 web scraping으로 검색해야 우리가 배우는 페이지 추출에 대한 결과가 나올 것이다. 웹 스크래핑 해보기 - 네이버 영화 순위 페이지에서 영화 제목들을 스크래핑해볼 것이다. 링크: https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303 1. 크롬 브.. 2022. 8. 22. [Web] Python - BeautifulSoup, find와 select를 사용한 웹 스크래핑 웹 스크래핑이 머리로 잘 정리되지 않아 다시 천천히 정리한다는 마음으로 쓴 포스팅이다. 웹 스크래핑의 기본 프로세스는 대개 정해진 패턴이 있다. 따지고 보면 웹 스크래핑이라는 것은 웹페이지에서 자신이 원하는 데이터를 긁어오는 것이므로 비교적 정형화된 작업이다. 정형화된 작업은 정형화된 프로세스가 있으므로 이것을 정리해서 머리에 넣어 두는 것이 중요하다. 웹 스크래핑 코딩의 기본 프로세스 1. 대상 웹페이지를 파싱(Parsing by BeautifulSoup) (* 파싱이란 문자열데이터를 분석하고 분해하여 목적한 패턴에 맞게 문자열의 구조를 결정하는 것) 2. 파싱(Parsing)된 데이터 중에서 스크래핑하고자 하는 "전체 데이터"를 선택함 : 이때 find_all 또는 select 명령어를 사용하며 얻어.. 2022. 8. 22. [Web] Python - python package 파이썬 패키지 파이썬 패키지(package) 설치하기 패키지는 모듈(일종의 기능들 묶음)을 모아 놓은 단위이고, 이런 패키지의 묶을을 라이브러리라고 한다. 1. 가상 환경(virtual environment)이란? => 같은 시스템에서 실행되는 다른 파이썬 응용 프로그램들의 동작에 영향을 주지 않기 위해, 파이썬 배포 패키지들을 설치하거나 업그레이드하는 것을 가능하게 하는 격리된 실행 환경 - 한 프로젝트에서 쓰는 패키지의 수는 다양하고, 서로 다른 프로젝트에서 요구하는 패키지의 목록이나 버전이 다를 수 있다. - 이렇게 요구사항이 다른 두 프로젝트를 한 컴퓨터에서 진행해야하는 상황에서 각 프로젝트마다 가상환경을 만들고 그 안에 필요한 패키지를 설치해주면 필요한 버전이 다르거나 두 패키지가 충돌을 일으키.. 2022. 8. 22. [Web] Python - 기초 문법 파이썬이란 : 네덜란드의 프로그래머 Guido van Rossum이 '읽기 쉬운 코드'에 중점을 두어 개발한 프로그래밍 언어이다. - '읽기 쉽게' 만든 언어이기 때문에, 문법이 쉬어 초보자가 배우기 좋은 언어이다. - 무료/오픈소스로 운영되고 커뮤니티가 크기 때문에 자연어처리, 머신러닝 등 직접 구현하기 어려운 기능들도 다른 개발자의 라이브러리를 이용해 쉽게 코드를 작성할 수 있다. 파이썬 설치 : 컴퓨터는 010000011과 같은 신호만 알아들을 수 있으므로 사람이 쓰는 파이썬 문법으로 된 글을 0과 1로 된 신호로 변환해주어야 한다. 이 '번역 패키지'를 설치하는 과정이다. cmd 혹은 PowerShell 창에 python3을 입력해보고 python이 설치되어 있다면 다음과 같은 화면이 나올 것이다.. 2022. 8. 22. [Web] 서버 - 클라이언트 통신 Web API Web API는 Web Application Programming Interface의 줄임말로, 서버에 요청을 보내고 응답을 받기 위해 정의된 명세를 뜻한다. 보통 API라고 하면 Web API를 의미한다. 서버/클라이언트/웹의 동작 개념 설명 [https://bo5mi.tistory.com/73] * 즉, 브라우저가 하는 일은 1) 요청을 보내고, 2) 받은 HTML 파일을 그려주는 일뿐이다. - 브라우저에 주소를 치고 엔터를 누르면 HTML 정보를 보내줬다! => 바로 이 주소가 API이다. 엔터를 치면 '요청'이 가고, 서버는 '응답'으로 HTML을 보내주는 것이다. - API에서 응답으로 HTML 전체가 아니라 데이터만 따로 정리해서 보내줄 수도 있다. => 바로 JSON 형식이다... 2022. 8. 22. [Web] FE - jQuery jQuery란? jQuery란, 웹 사이트에서 자바스크립트를 쉽게 활용할 수 있도록 도와주는 오픈소스 기반의 JavaScript 라이브러리이다. - JavaScript와 다른 특별한 소프트웨어가 아니라 미리 작성된 코드를 모아둔 것 - 직접 JS 코드를 작성하여 모든 기능을 구현할 수도 있지만, 이 경우에 코드가 복잡하고, 개발 환경과 다른 브라우저에서 잘 작동을 안 하는 등 브라우저 간 호환성을 직접 고려해야하는 등의 문제가 있기 때문에 전문 개발자가 작성한 라이브러리를 가져와서 사용하면 편하다. - 대신, 쓰기 전에 임포트(import)를 해주어야한다.!!!!! - jQuery와 순수 JavaScript의 코드를 비교해보면, JS에서 element란 id를 가진 요소를 감추려면 이렇게 길고 복잡하게 .. 2022. 8. 22. [Web] FE - JavaScript 조건문, 반복문 자바스크립트(JavaScript, 줄여서 JS)란? 자바스크립트는 프로그래밍 언어로, HTML 상에서 쓸 수 있는 언어이다. Q. 왜 브라우저는 Javascript만 알아들어요? HTML안에다 파이썬, Java 같은 언어를 써서 주면 안되나? A. 불가능한 이야기는 아니다. 다만, 이 "역사적인 이유 & 이미 만들어진 표준"이기 때문에, 모든 브라우저는 기본적으로 Javascript를 알아듣게 설계되어있고, 모든 웹서버는 HTML+CSS+Javascript를 응답(response) 데이터로 주게 되어있다. Q. Java와 Javascript는 어떤 차이가 있나? A. 인도와 인도네시아.. 바다와 바다코끼리.. 처럼 아무 관련 없다. 자바스크립트 맛보기 띄어놓은 페이지의 크롬 개발자도구 콘솔창에서 자바스크.. 2022. 8. 22. [Web] FE - Javascript 연산 Javascript의 연산 산술연산 자바스크립트는 HTML, CSS와는 다르게 다양한 산술, 대입 등의 연산자를 통해 숫자, 문자 등을 출력할 수 있다. //연산 var x, y; x = 5; y = 9; y++; //10 x--; //4 --x; //3 ++x; //4 x = x + 2; //6 x += 2; //8 document.write(x, ' '); x *= 2; //16 document.write(x, ' '); var 이름 = '성이름'; var 나이 = 10; document.write('제 이름은 ' + 이름 + ' 제 나이는 ' + 나이 + '입니다.' , ' '); document.write(`제 이름은 ${이름}입니다. 제 나이는 ${나이+나이} 입니다.`); 비교연산 객체의 크고.. 2022. 8. 22. [VSC] 자동 줄바꿈 설정하는 방법 Visual Studio Code / 자동 줄바꿈 설정하는 방법1. [File - Preferences - Settings]를 클릭한다.2. word wrap으로 검색한 후 on으로 변경한다.3. 끝~! 2022. 8. 22. 이전 1 2 3 4 5 ··· 7 다음
