Python13 [python] 3/3__Selenium을 이용한 구글 검색 이미지 크롤링 하기 이전 글에 이어 마지막으로 구글 검색 결과의 썸네일 이미지가 아닌, 클릭했을때 나타나는 원본 이미지 파일을 저장해보고자 한다. 이전 게시글 1번 : yobbicorgi.tistory.com/29 [python] 1/3__Selenium을 이용한 구글 검색 이미지 크롤링 하기 Python Selenium을 이용하여 구글(Google)에서 이미지를 검색한 후, 검색 목록에 나오는 썸네일 이미지들을 모아 다운로드 해보고자 한다. 해당 게시글은 3개의 시리즈로 게시될 예정이며, 시리즈 별 yobbicorgi.tistory.com 이전 게시글 2번 : yobbicorgi.tistory.com/30 앞선 두번째 게시글과 전체적인 과정은 모두 같다. 하지만 중간에 각 이미지들을 한번 클릭하고, 원본이미지 링크들을 수.. 2021. 5. 11. [python] 2/3__Selenium을 이용한 구글 검색 이미지 크롤링 하기 이전 글에 이어 이번에는 Pool을 이용하여 multiprocessing를 이용하고, 여러개의 크롬 창에서 이미지들을 동시다발적으로 검색하는 방법에 대해 고안해보았다. 이전 글 : yobbicorgi.tistory.com/29 [python] 1/3__Selenium을 이용한 구글 검색 이미지 크롤링 하기 Python Selenium을 이용하여 구글(Google)에서 이미지를 검색한 후, 검색 목록에 나오는 썸네일 이미지들을 모아 다운로드 해보고자 한다. 해당 게시글은 3개의 시리즈로 게시될 예정이며, 시리즈 별 yobbicorgi.tistory.com 이전에는 Spyder상에서 직접 실행시킨 것과는 다르게 Anaconda Prompt상에서 실행하도록 할 것이다. 또한, 텍스트 파일에 검색하고자 하는 키.. 2021. 5. 8. [python] 1/3__Selenium을 이용한 구글 검색 이미지 크롤링 하기 Python Selenium을 이용하여 구글(Google)에서 이미지를 검색한 후, 검색 목록에 나오는 썸네일 이미지들을 모아 다운로드 해보고자 한다. 해당 게시글은 3개의 시리즈로 게시될 예정이며, 시리즈 별 발전 과정은 다음과 같다. 1. Spyder상에서 하나의 키워드를 검색하고, 비교적 저화질인 썸네일 이미지를 빠르게 다운로드 하는 법 2. Anaconda상에서 Pool를 이용하여 여러개 키워드를 동시 다발적으로 검색하고, 썸네일 이미지를 다운로드 하는 법 3. Anaconda상에서 여러개 키워드를 동시다발적으로 검색하고, 원본 고화질 이미지를 다운로드 하는 법 이 중 본 게시글에서는 하나의 키워드만을 사용해볼 것이다. 이미지 검색은 아래 Google 이미지 검색 페이지에서 수행하도록 한다. ww.. 2021. 5. 6. [python] Selenium을 이용한 티스토리 로그인 & 게시글 자동 작성 이번에는 Selenium과 크롬 웹드라이버('chromedriver')를 이용해 자동으로 티스토리에 로그인을 하고, 간단한 게시글을 작성하는 코드를 짜보고자 한다. 우선 자신이 사용하고 있는 크롬 버전과 맞는 chromedriver를 다운받아야 한다. 다음 페이지 에서 chromedriver 다운로드가 가능하며, 사용하고 있는 크롬 버전은 "설정 -> chrome 정보"에서 확인 가능하다. ※ Chromedriver 다운로드 chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 91, please download Chrom.. 2021. 5. 1. [python] NOAA sea temperature netCDF4(nc)파일을 이용한 데이터 시각화 (contour plot) 이번 글에서는 NOAA(미국 국립해양대기청)에서 제공하는 해수면 온도(SST) 데이터를 활용하여 시각화 해보려고 한다 사용할 자료는 인공위성 자료를 재분석한 0.25º x 0.25º의 해상도를 가진 전 지구 30년 평균(1982~2010) 자료인 OISSTv2자료를 사용해 보고자 한다. 89.875 S - 89.875 N / 0.125 E - 359.875 E의 영역을 1440x720개의 구역으로 나누어 수온 데이터를 제공한다. psl.noaa.gov/data/gridded/data.noaa.oisst.v2.highres.html NOAA OI SST V2: High Resolution: NOAA Physical Sciences Laboratory psl.noaa.gov ↑NOAA OISSTv2 제공 페.. 2021. 4. 27. [python] 등간격 Time Series데이터에서 결측 구간이 존재할 경우 해당 구간의 시간을 자동으로 채워 넣는 방법 다양한 시계열 데이터를 다루는 작업에 있어서, 수 많은 문제에 부딪히고는 한다. 여기서는 시계열 데이터의 "결측" 에 대해 다루려고 한다. 예를들어 같은 시간에 측정된 1분 간격의 기온, 기압, 수온 등의 자료를 함께 다루고자 할때 "기온"자료에서 순간적인 결측이 발생하여 각 데이터 길이가 다르게 되면 처리가 꼬이는 일이 발생하게 된다. 따라서 본 게시글에서는 결측 즉, 빈 구간의 시간값을 만들어 채우고, 데이터 길이를 맞추는 것을 해볼 것이다. 1. 필요 모듈 import import numpy as np import pandas as pd import glob import os import datetime 2. timeseries자료 불러오기 input_file='./example.csv' df=pd.. 2021. 4. 25. 이전 1 2 3 다음
