본문 바로가기

DATA2

[python] OPEN API 데이터 불러오기 (JSON to Pandas DataFrame) 우리나라 공공데이터 포털(https://www.data.go.kr)에서는 OPEN API 서버를 이용하여 각종 데이터들을 XML/JSON 형식으로 제공하고 있다. 사용방법은 회원가입 후 활용할 데이터를 신청하여 개인 Service Key를 받게 되면 공공데이터 포털 내 모든 데이터를 자유롭게 활용할 수 있다. 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 나는 공공데이터 포털에서 기상청 종관 ASOS 시간 관측 자료를 활용하여 데이터를 살펴보려고 한다. 먼저 활용신청을 한 후, 데이터를 JSON형식으로 받은 후 Pa.. 2021. 5. 19.
[python] 등간격 Time Series데이터에서 결측 구간이 존재할 경우 해당 구간의 시간을 자동으로 채워 넣는 방법 다양한 시계열 데이터를 다루는 작업에 있어서, 수 많은 문제에 부딪히고는 한다. 여기서는 시계열 데이터의 "결측" 에 대해 다루려고 한다. 예를들어 같은 시간에 측정된 1분 간격의 기온, 기압, 수온 등의 자료를 함께 다루고자 할때 "기온"자료에서 순간적인 결측이 발생하여 각 데이터 길이가 다르게 되면 처리가 꼬이는 일이 발생하게 된다. 따라서 본 게시글에서는 결측 즉, 빈 구간의 시간값을 만들어 채우고, 데이터 길이를 맞추는 것을 해볼 것이다. 1. 필요 모듈 import import numpy as np import pandas as pd import glob import os import datetime 2. timeseries자료 불러오기 input_file='./example.csv' df=pd.. 2021. 4. 25.