본문 바로가기

Python/Data 처리4

[python] GIF 그래프 만들어 보기 이번 글에서는 지난 게시글에서 다루었던 OPEN API로부터 받아온 데이터를 이용해 움직이는 그래프(GIF)를 만들어보고자 한다. 이 움직이는 그래프를 잘 활용한다면 실시간으로 데이터를 업데이트 해주며 즉각적인 데이터의 변동을 표출해줄 수도 있고, 기존에 취득한 데이터들을 정적인 그래프로 보는 것 보다 훨씬 동적으로 변화량을 확인해 볼 수 있다. 우선 OPEN API로 불러온 자료를 재활용 해볼 것이므로, 데이터를 가져오는 방법은 지난 게시글을 참조하면 좋을 것 같다. [Python] OPEN API 데이터 불러오기 (JSON to Pandas DataFrame) 👽멕북 프로 m1을 구입하게 되어 앞으로 게시글들은 맥 m1 프로세서 기준으로 작성될 것 같습니다 (아직 m1을 제대로 완벽히 지원하지 않아 .. 2021. 6. 6.
[python] OPEN API 데이터 불러오기 (JSON to Pandas DataFrame) 우리나라 공공데이터 포털(https://www.data.go.kr)에서는 OPEN API 서버를 이용하여 각종 데이터들을 XML/JSON 형식으로 제공하고 있다. 사용방법은 회원가입 후 활용할 데이터를 신청하여 개인 Service Key를 받게 되면 공공데이터 포털 내 모든 데이터를 자유롭게 활용할 수 있다. 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 나는 공공데이터 포털에서 기상청 종관 ASOS 시간 관측 자료를 활용하여 데이터를 살펴보려고 한다. 먼저 활용신청을 한 후, 데이터를 JSON형식으로 받은 후 Pa.. 2021. 5. 19.
[python] NOAA sea temperature netCDF4(nc)파일을 이용한 데이터 시각화 (contour plot) 이번 글에서는 NOAA(미국 국립해양대기청)에서 제공하는 해수면 온도(SST) 데이터를 활용하여 시각화 해보려고 한다 사용할 자료는 인공위성 자료를 재분석한 0.25º x 0.25º의 해상도를 가진 전 지구 30년 평균(1982~2010) 자료인 OISSTv2자료를 사용해 보고자 한다. 89.875 S - 89.875 N / 0.125 E - 359.875 E의 영역을 1440x720개의 구역으로 나누어 수온 데이터를 제공한다. psl.noaa.gov/data/gridded/data.noaa.oisst.v2.highres.html NOAA OI SST V2: High Resolution: NOAA Physical Sciences Laboratory psl.noaa.gov ↑NOAA OISSTv2 제공 페.. 2021. 4. 27.
[python] 등간격 Time Series데이터에서 결측 구간이 존재할 경우 해당 구간의 시간을 자동으로 채워 넣는 방법 다양한 시계열 데이터를 다루는 작업에 있어서, 수 많은 문제에 부딪히고는 한다. 여기서는 시계열 데이터의 "결측" 에 대해 다루려고 한다. 예를들어 같은 시간에 측정된 1분 간격의 기온, 기압, 수온 등의 자료를 함께 다루고자 할때 "기온"자료에서 순간적인 결측이 발생하여 각 데이터 길이가 다르게 되면 처리가 꼬이는 일이 발생하게 된다. 따라서 본 게시글에서는 결측 즉, 빈 구간의 시간값을 만들어 채우고, 데이터 길이를 맞추는 것을 해볼 것이다. 1. 필요 모듈 import import numpy as np import pandas as pd import glob import os import datetime 2. timeseries자료 불러오기 input_file='./example.csv' df=pd.. 2021. 4. 25.