Guten_june

파이썬 재무제표 스크래핑으로 내가 원하는 주식 찾기(feat. 네이버금융) 2021/01/03 - [개발자/파이썬] - 파이썬 셀레니움 (Selenium) headless 2021/01/02 - [개발자/파이썬] - 파이썬 Selenium (셀레니움) 스크롤(Scroll) 2021/01/01 - [개발자/파이썬] - 파이썬 (Selenium) 로딩까지 기다림 (feat. WebDriverWait) 2020/12/31 - [개발자/파이썬] - 파이썬 (Python) Selenium (기본, 네이버 로그인) 2020/12/30 - [개발자/파이썬] - 파이썬 웹스크래핑(web scraping)_2 2020/12/30 - [개발자/파이썬] - 파이썬 웹스크래핑(web scraping) 이전 글들에서 웹 스크래..

파이썬 셀레니움 (Selenium) headless 2021/01/02 - [개발자/파이썬] - 파이썬 Selenium (셀레니움) 스크롤(Scroll) 2021/01/01 - [개발자/파이썬] - 파이썬 (Selenium) 로딩까지 기다림 (feat. WebDriverWait) 2020/12/31 - [개발자/파이썬] - 파이썬 (Python) Selenium (기본, 네이버 로그인) 2020/12/30 - [개발자/파이썬] - 파이썬 웹스크래핑(web scraping)_2 2020/12/30 - [개발자/파이썬] - 파이썬 웹스크래핑(web scraping) 저번 글에서부터 웹 스크래핑을 할 때, 매번 브라우저를 띄우고 웹 스크래핑을 진행했는데 사실 이런 경우, 메모리도 더 잡아먹고, 속도도 좀 더 ..

파이썬 Selenium (셀레니움) 스크롤(Scroll) 2021/01/01 - [개발자/파이썬] - 파이썬 (Selenium) 로딩까지 기다림 (feat. WebDriverWait) 저번 글에서는 로딩시간을 위한 Waits에 대해서 이야기해봤다. 이번 글에서는 스크롤에 대해서 적어보려고 한다. 스크롤 (Scroll) 보통 웹페이지에서 한번에 모든 정보를 제공하지 않는다. 스크롤을 해야 그 아래의 정보까지 파싱할 수 있는 경우가 있는데, 이때 우린 스크롤(Scroll) 동작을 통해 아래의 정보까지 가져올 수 있다. ※ 지정한 위치로 스크롤 내리기 # 지정한 위치로 스크롤 내리기 # 모니터(해상도)의 높이인 900 위치로 스크롤 내리기 browser.execute_script("window.scrollTo..

파이썬 (Python) Selenium (기본, 네이버 로그인) 저번 글에서는 BeautifulSoup에 대해서 다루었다. 2020/12/30 - [개발자/파이썬] - 파이썬 웹스크래핑(web scraping) 2020/12/30 - [개발자/파이썬] - 파이썬 웹스크래핑(web scraping)_2 이번에 다룰 것은 Selenium인데 이게 진짜 찐이다. BeautifulSoup과는 다르게 동적인 부분을 처리할 수 있다. (입력, 버튼 클릭, 스크롤 등등) 또한 자바스크립트 렌더링도 지원되어서 더욱 편리하다. Selenium을 사용하기 위해서 그 전에 해야 할 작업들이 있는데, (참고로, 다들 크롬을 사용한다는 전제하에 진행한다.) 먼저, webdriver를 설치해야한다. 이를 위해서 크롬 버전을 확인..

저번 편에선 requests, re, beautifulsoup 모듈들을 각각 어떻게 사용할 수 있는지 알아봤다. 이번엔 그 모듈들을 활용한 예제들을 한번 살펴보려고 한다. (feat. 나도코딩 채널: www.youtube.com/watch?v=yQ20jZwDjTE) 첫 번째 예제는 쿠팡에서 상품의 정보를 가져오는 것이다. import requests from bs4 import BeautifulSoup import re headers = {"User-Agent":"각자의 Useragent"} url = "https://www.coupang.com/np/search?q=%EB%85%B8%ED%8A%B8%EB%B6%81&channel=user&component=&eventCategory=SRP&trcid=&..

파이썬 웹스크래핑(web scraping) 내가 정말 좋아하는 코딩유튜버 중에 한 분이신 "나도코딩"님이 좋은 영상을 올려주셔서 이를 보고 공부하고 응용하는 연습도 하고 있다. (나도코딩님 영상: www.youtube.com/watch?v=yQ20jZwDjTE&t=9077s) 주제는 파이썬을 이용한 웹 스크래핑이다. 지금 잘 정리해두고 나중에 까먹게 되면 이 글 보면서, 다시 써먹어야지~~ 먼저 용어부터 좀 다뤄보자. 아래의 세 단어는 꽤나 혼용된다. 내 친구들 중에서도 그냥 웹에서 정보를 긁어오는걸 통째로 웹 크롤링이라고 부르는 친구도 있었고 사람들마다 부르는 용어가 조금씩 다르다는 걸 느꼈다. 엄밀히 말하면 조금 다르니까, 최대한 명확히 나눠보자. ※ 웹 크롤링(web crawing) vs 웹 스크래..