데이터 불러오고/ 저장하기

# csv 파일 가져오자. 파일 이름은 df_sample.csv 다. import pandas as pd file_path = './read_csv_sample.csv' df1 = pd.read_csv(file_path) # 기본: header=True print(df1) c0 c1 c2 c3 0 0 1 4 7 1 1 2 5 8 2 2 3 6 9 # read_csv() 함수로 데이터프레임 변환. 변수 df2에 저장. header=None 옵션 df2 = pd.read_csv(file_path, header=None) # 1행으로 열 지정 안함 print(df2) 0 1 2 3 0 c0 c1 c2 c3 1 0 1 4 7 2 1 2 5 8 3 2 3 6 9 # index_col = None 옵션 df3 = pd.read_csv(file_path, index_col = None) # 기본 : index_col = None print(df3) c0 c1 c2 c3 0 0 1 4 7 1 1 2 5 8 2 2 3 6 9 # index_col = 'c0' 옵션 -> 특정 열을 인덱스 칼럼으로 지정할 수 있다 df4 = pd.read_csv(file_path, index_col = 'c0') print(df4) c1 c2 c3 c0 0 1 4 7 1 2 5 8 2 3 6 9

# 1. 일이 월보다 먼저 위치할 경우 설정 pd.read_csv('date_file.csv', sep=',', names=['date','id','val'], parse_dates = ['date'], # 또는 해당 열 위치 dayfirst=True, infer_datetime_format=True) # 2. 일이 월보다 뒤에 위치하는 경우(default) : dayfirst=False # 3. 수동으로 함수 형태 지정해주기 : date_parser = Parser from datetime import datetime dt_parser = lambda x : datetime.strptime(x, '%d/%m/%Y %H:%M:%S') pd.read_csv('date_sample', sep=',', names=['date','id','val'], parse_dates=['date'], date_parser=dt_parser)

import pandas as pd ##################### excel 파일 데이터프레임으로 가져오기 ######################## # read_excel() 함수로 데이터프레임 변환 df1 = pd.read_excel('./남북한발전전력량.xlsx',engine='openpyxl') # header=0 옵션 df2 = pd.read_excel('./남북한발전전력량.xlsx',engine = 'openpyxl',header=None) # header 옵션 미적용 # 데이터프레임 출력 print(df1) 전력량 (억㎾h) 발전 전력별 1990 1991 1992 1993 ... 2011 2012 2013 2014 2015 2016 0 남한 합계 1077 1186 1310 1444 ... 4969 5096 5171 5220 5281 5404 1 NaN 수력 64 51 49 60 ... 78 77 84 78 58 66 2 NaN 화력 484 573 696 803 ... 3343 3430 3581 3427 3402 3523 3 NaN 원자력 529 563 565 581 ... 1547 1503 1388 1564 1648 1620 4 NaN 신재생 - - - - ... - 86 118 151 173 195 5 북한 합계 277 263 247 221 ... 211 215 221 216 190 239 6 NaN 수력 156 150 142 133 ... 132 135 139 130 100 128 7 NaN 화력 121 113 105 88 ... 79 80 82 86 90 111 8 NaN 원자력 - - - - ... - - - - - - [9 rows x 29 columns] print('\n') print(df2) 0 1 2 3 4 ... 24 25 26 27 28 0 전력량 (억㎾h) 발전 전력별 1990 1991 1992 ... 2012 2013 2014 2015 2016 1 남한 합계 1077 1186 1310 ... 5096 5171 5220 5281 5404 2 NaN 수력 64 51 49 ... 77 84 78 58 66 3 NaN 화력 484 573 696 ... 3430 3581 3427 3402 3523 4 NaN 원자력 529 563 565 ... 1503 1388 1564 1648 1620 5 NaN 신재생 - - - ... 86 118 151 173 195 6 북한 합계 277 263 247 ... 215 221 216 190 239 7 NaN 수력 156 150 142 ... 135 139 130 100 128 8 NaN 화력 121 113 105 ... 80 82 86 90 111 9 NaN 원자력 - - - ... - - - - - [10 rows x 29 columns]

##################### JSON 파일 데이터프레임으로 가져오기 ######################## # read_json () 함수로 데이터프레임 변환 df = pd.read_json('./read_json_sample.json') print(df) print('\n') print(df.index)

#################### 웹에서 가져오기 ######################## # 웹 페이지 대신 html의 파일을 가져온다. url = './sample.html' # HTML 웹페이지의 표를 가져와서 데이터프레임으로 변환 tables = pd.read_html(url) # 표의 개수 확인 print(len(tables)) print('\n') 2 tables [ Unnamed: 0 c0 c1 c2 c3 0 0 0 1 4 7 1 1 1 2 5 8 2 2 2 3 6 9, name year developer opensource 0 NumPy 2006 Travis Oliphant True 1 matplotlib 2003 John D. Hunter True 2 pandas 2008 Wes Mckinneye True] # tables 리스트의 원소를 iteration하면서 각각 화면 출력 for i in range(len(tables)): print("tables[%s]" %i) # %s 자리에 i값 집어넣기 print(tables[i]) print('\n') tables[0] Unnamed: 0 c0 c1 c2 c3 0 0 0 1 4 7 1 1 1 2 5 8 2 2 2 3 6 9 tables[1] name year developer opensource 0 NumPy 2006 Travis Oliphant True 1 matplotlib 2003 John D. Hunter True 2 pandas 2008 Wes Mckinneye True # 파이썬 패키지 정보가 들어 있는 두 번째 데이터프레임을 선택하여 df 변수에 저장 df = tables[1] # 'name'열을 인덱스로 저장 df.set_index('name', inplace=True) print(df)

#################### 웹 스크래핑 ######################## # 라이브러리 불러오기 from bs4 import BeautifulSoup import requests import re # 위키피디아 미국 ETF 웹 페이지에서 필요한 정보를 스크래핑하여 딕셔너리 형태로 변수 etfs에 저장 url = "https://en.wikipedia.org/wiki/List_of_American_exchange-traded_funds" resp = requests.get(url) soup = BeautifulSoup(resp.text, 'lxml') # 파서 종류인데 기본인 html파서보다 빠름 rows = soup.select('div > ul > li')# 상위태그 > 하위태그 > 하위태그 > ... etfs = {} # 빈 딕셔너리 생성 for row in rows: try: # 오류가 잠재된 일반적인 코드를 넣는 부분 etf_name = re.findall('^(.*) \(NYSE', row.text) etf_market = re.findall('\((.*)\|', row.text) etf_ticker = re.findall('NYSE Arca\|(.*)\)', row.text) if (len(etf_ticker)>0) & (len(etf_market)>0) & (len(etf_name)>0) : etfs[etf_ticker[0]] = [etf_market[0], etf_name[0]] # 리스트를 원소로 갖는 딕셔너리를 # 정의하는 방법 except AttributeError as err : # 오류 발생시 실행되는 코드를 넣는 부분 pass # etfs 딕셔너리 출력 print(etfs) print('\n') # etfs 딕셔너리를 데이터프레임으로 변환 df = pd.DataFrame(etfs) print(df)

## google 지오코딩 API를 통해 위도, 경도 데이터 가져오기 # 라이브러리 가져오기 import googlemaps import pandas as pd my_key = "AIzaSyDrCsyu3dHUCuY2Ik8MQni2M01w8rbb4m8" # 발급받은 api키 lat = [] # 위도 lng = [] # 경도 # 장소(또는 주소) 리스트 places = ["서울시청","국립국악원","해운대해수욕장"] i=0 for place in places: i = i+1 try:#오류가 잠재된 일반적인 코드를 프로그래밍 print(i, place) # 지오코딩 API 결과값 호출하여 geo_location 변수에 저장 geo_location = maps.geocode(place)[0].get('geometry') lat.append(geo_location['location']['lat']) lng.append(geo_location['location']['lng']) except: # 오류가 발생시 실행될 코드 lat.append('') lng.append('') print(i) # 데이터프레임으로 변환하기 df = pd.DataFrame({'위도':lat, '경도':lng}, index=places) print('\n') print(df)

# 판다스의 DataFrame()함수로 데이터프레임 변환. 변수 df에 저장 data = {'name': ['Jerry','Riah','Paul'], 'algol':["A", "A+", "B"], 'basic':["C", "B", "B+"], 'c++':["B+", "C", "C+"], } df = pd.DataFrame(data) df.set_index('name', inplace=True) print(df) algol basic c++ name Jerry A C B+ Riah A+ B C Paul B B+ C+ # to_csv()메소드를 사용해서 csv파일로 내보내기. 파일명은 df_sample.csv로 저장 df.to_csv("./df_sample.csv")

# to_json()메소드를 사용해서 JSON파일로 내보내기. 파일명은 df_sample.json 로 저장 df.to_json("./df_sample.json")

# to_excel()메소드를 사용해서 Excel파일로 내보내기. 파일명은 df_sample.xlsx로 저장 df.to_excel("./df_sample.xlsx")

data1 = {'name': ['Jerry','Riah','Paul'], 'algol':["A", "A+", "B"], 'basic':["C", "B", "B+"], 'c++':["B+", "C", "C+"], } data2 = ('c0':[1,2,3], 'c1':[4,5,6], 'c2':[7,8,9], 'c3':[10,11,12], 'c4':[13,14,15]} df1 = pd.DataFrame (data1) df1.set_index('name', inplace=True) print(df1) algol basic c++ name Jerry A C B+ Riah A+ B C Paul B B+ C+ df2 = pd.DataFrame(data2) df2.set_index('c0', inplace=True) print(df2) c1 c2 c3 c4 c0 1 4 7 10 13 2 5 8 11 14 3 6 9 12 15 # df1을 'sheet1'으로, df2를 'sheet2'로 저장(Excel 파일명은 "df_excelwriter.xlsx") writer = pd.ExcelWriter("./df_excelwriter.xlsx") # 파일먼저 생성 df1.to_excel(writer, sheet_name="sheet1") df2.to_excel(writer, sheet_name="sheet2") writer.save() # 저장