파이썬으로 디비에 있는 데이터 불러와서 가공하고 원하는 결과를 csv로 뽑아보려 했습니다.

작업은 주피터 환경에서 해봤어요.

참고로 비전공자... 그냥 취미로 코딩하는 정도라.. 엄청 엉망일 수 있음 주의하셔야 합니다..

from pandas.io.sql import DatabaseError
import pymysql
import pandas as pd
import numpy as np

#db 연결
conn = pymysql.connect(host= "호스트", user="유저명", password="비밀번호", db="db이름", charset="utf8")
curs = conn.cursor()
office_list = '쿼리문'
curs.execute(office_list)
office_df = pd.read_sql_query(office_list,conn)

office_new_list = '쿼리문'
curs.execute(office_new_list)
office_new_df = pd.read_sql_query(office_new_list,conn)
conn.commit()
conn.close()

#데이터 프레임 2개 합치기
total_office_df = pd.concat([office_df,office_new_df], ignore_index=True)

파이썬 디비 연결은 pymysql을 사용했습니다.

연결 후에 쿼리문을 각각 돌리고 pd.concat을 활용해서 2개를 합쳤습니다.

합칠 때, ignore_index를 해줬습니다. 

요걸 해주면 index를 합쳐진 데이터 기준으로 0부터 쭈욱 정리해줍니다.

안해주면 office_df의 인덱스 다음에 오는 office_new_df의 인덱스가 0부터 다시 쌓여서 0이 2개, 1이 2개 이런 식으로 되기 때문에 나중에 데이터 프레임으로 작업이 불가능하여 index를 아예 갱신해줬습니다.

#중복값 제거, 제거 후 인덱스 갱신, live_yn 열 추가
total_office_df = total_office_df.drop_duplicates(['id'])
total_office_df.reset_index(drop=True,inplace=True)
total_office_df['live_yn']=0;

그 다음에는 합쳐봤더니 중복되는 id 값들이 보여서 id라는 특정 열을 기준으로 중복값을 제거해줬습니다.

중복값을 제거했더니 인덱스값이 80 다음에 83 이런식으로 나와서 다시 한번 reset_index를 사용하여 인덱스를 정리해줬습니다.

drop을 true로 둬야 열을 유지해주고 그냥 0부터 숫자를 배정해줘서 넣었고 inplace를 해줘야 total_office_df가 원하는 인덱스 갱신 효과가 있어서 넣어줬습니다. (inplace 안하면.. 다시 total_office_df 봤을 때, 인덱스가 정리 안된 채로 있더라구요)

마지막으로 오피스가 살아있는지를 보고 싶어서 하는 거라 일단 디폴트로 새로운 live_yn 열을 추가한 다음에 전부다 0이라는 값을 부여했습니다.

conn = pymysql.connect(host= "호스트", user="유저명", password="비밀번호", db="db이름", charset="utf8")
curs = conn.cursor()

office_df2 = total_office_df.copy()
for index, row in total_office_df.iterrows():
    live_query = '쿼리문'.format(row['id'])
    curs.execute(live_query)
    live_df = pd.read_sql_query(live_query,conn)
    if (live_df.empty==False):
        x = 1
    else:
        x = 0;
    office_df2['live_yn'][index] = x;
    
conn.commit()
conn.close()

위에서 db 연결을 한번 끊었어서 다시 db 연결을 했습니다.

id 정리한 것을 기준으로 id가 들어있는 오피스가 살아있는지를 반복문으로 돌려봤어요.

iterrows()는 행을 반복해주는 함수여서 total_office_df의 행을 0부터 끝까지 반복해줍니다.

이때 index에는 0부터 해당 데이터프레임의 마지막 인덱스 번호까지가 들어가고 row에는 해당 행의 데이터프레임에 담겨져 있는 데이터들이 다 들어있어서 row['id']처럼 부를 수도 있고 row[0] 이런 식으로도 호출이 가능합니다.

저는 이게 살아있는지를 돌려보고 싶었어서 db에서 추출했는데 아예 값이 없는 걸로 나오는지, 아닌지를 if문으로 분기를 태웠습니다.

데이터프레임.empty == false는 데이터프레임이 비어있지 않다. 적어도 제가 추출하고자 했던 데이터가 1개 이상은 있다는 의미입니다. 그래서 해당 경우는 x=1이라는 값을 줬습니다. 그렇지 않으면 0을 줬구요.

여기서 열심히 해보다가 못찾은게 ㅜㅜ copy 활용하는 방법인데..

A value is trying to be set on a copy of a slice from a DataFrame See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy

이런 워닝?이 나오더라구요 ㅜㅜ copy()이걸 어케 쓰면 안나온다고 인터넷에 나오던데.... 제 코드에서는 이걸 없애질 못했습니다.... 나중에 다시 도전해보겠습니다..

어쨌든.. 이렇게 하고서 live_yn 열에 값이 잘 반영됐는지를 value_counts() 함수를 사용해서 확인했습니다.

1을 부여한 값이 85개 확인되었습니다. 만족...

노가다로 확인해봤는데 값은 일단 잘 나온 것 같습니다^^

office_df2.to_csv('결과.csv', index=False)

기분 좋게 마무리로... csv 저장합니다.

데이터프레임.to_csv하고 이름을 저렇게 따옴표 안에 ㅇㅇ.csv로 하면 저장이 잘 됩니다.. 그리고 뒤에 index는 false하면 인덱스 번호 빼고 csv가 저장됩니다. 

오늘의 공부 복기 끝!