728x90

😎 프로젝트 만들기 29

[kaggle][성인 인구조사 소득예측] 🐱‍💻 3. Raw File trimming (feat. 계속 바뀌는 환경)

[kaggle][성인 인구조사 소득예측] 🐱‍💻 3. Raw File trimming 필요 라이브러리¶ In [1]: import os import pandas as pd raw data 간단한 전처리 진행하기¶ In [2]: os.listdir() Out[2]: ['.ipynb_checkpoints', '1. Basic EDA.ipynb', '2. Deep EDA & Feature Engineering.ipynb', '3. Basic file trimming.ipynb', 'adult_data.csv', 'adult_names.txt', 'adult_test.csv', 'test.csv', 'train.csv'] 열 설정¶ In [3]: train = pd.read_csv("adult_data.csv"..

[kaggle][성인 인구조사 소득예측] 🐱‍💻 2. Deep EDA & Feature Engineering

[kaggle][성인 인구조사 소득예측] 🐱‍💻 2. Deep EDA & Feature Engineering 필요 라이브러리¶ In [1]: import os import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns # 오류 메세지 안뜨게 import warnings warnings.filterwarnings(action='ignore') In [2]: #한글 시각화 plt.rc("font", family="Malgun Gothic") 데이터 불러와서 확인하기¶ In [3]: os.listdir() Out[3]: ['.ipynb_checkpoints', '2. Deep EDA & Feature E..

[kaggle][성인 인구조사 소득예측] 🐱‍💻 1. 첫 캐글 EDA

[kaggle][성인 인구조사 소득예측] 🐱‍💻 1. 첫 캐글 도전 In [44]: # 기본 import os # 분석 라이브러리 import pandas as pd import numpy as np #시각호 라이브러리 import matplotlib as mpl import matplotlib.pyplot as plt import seaborn as sns 데이터 불러오기¶ In [4]: # 파일 목록 os.listdir() Out[4]: ['.ipynb_checkpoints', 'adult_data.csv', 'adult_names.csv', 'adult_test.csv', '[Adult] 1. Basic EDA.ipynb'] In [5]: # 데이터 읽어오기 train = pd.read_csv('a..

[kaggle] 🤨시작하기 전 - 성인 인구조사 소득 예측 대회

[kaggle] 🤨시작하기 전 - 성인 인구조사 소득 예측 대회 - 과연 우리는 소득을 예측할 수 있을까? 데이터 분석 강의를 찾던 중, T-Academy채널에서 데이터 분석관련한 좋은 컨텐츠가 있는 걸 발견! 평소 kaggle 데이터를 활용하여 분석 실력을 쌓고 싶은 마음이 컸었기에, 이렇게 바로 나도 데이터분석 시작! 캐글 코리아에서 재작년 11월쯤에 열렸던 대회이다. https://www.kaggle.com/c/kakr-4th-competition/overview [T-Academy X KaKr] 성인 인구조사 소득 예측 대회 | Kaggle www.kaggle.com Description 한국과 마찬가지로 미국도 주기적으로 성인을 대상으로 한 여러 인구조사를 시행합니다. 이 대회는 1994년 미국..

[pandas] 재도전! 수원시 종합병원데이터 전처리-1 (feat경기도데이터드림이 짱)

🙋‍♀️ 재도전! 수원시 종합병원데이터 전처리 -1 (feat. 경기도데이터드림이 짱) 이대론 포기할 수 없다!!! 다른 데이터자료 사이트에서 병원을 얻어보기로했다-!! 내가 찾은 사이트는 바로 '경기데이터드림' !! 각 지자체 데이터 사이트에서도 찾을 수 있으니 경기도지자체사이트로 접속했다. https://data.gg.go.kr/portal/adjust/selectThemeServicePage.do?infId=5E9F96P9YXCJ8ZTFHFF721022502&cateId=T101&infSeq=1&layout=1#none 경기도 병원 현황 | 테마 맞춤형 데이터 상세 Sheet | 경기데이터드림 경기도 내의 시군별 병원에 대한 의료기관명, 병상수, 의료인수, 입원실수 등의 현황입니다. ※최근1주이내 ..

[pandas] 수원시 종합병원 데이터 전처리 (현실 세계의 데이터는 오류 투성이....)

🖥️데이터 전처리 - 데이터과학의 불편한 진실 데이터 분석을 하려면.... "데이터에 대한 오류를 검증이 꼭 필요하다"고 말했던 걸 뼈져리게 느꼈다😭😭😭😭😭😭 몇 시간의 노력이 물거품이 되었기때문!!🌪️ 현실세계의 데이터는 오류 투성이임을 인식하라고 엄청엄청 수업시간에 강조하셨는데.... 공공데이터포털에서 다운 받은 거니까 엄청 신뢰하고 있었는데 ㅠㅠ 힝.... 이게 모야 최근 읽었던 '빅데이터 분석과 활용' 책 중에 데이터 전처리에 대해 강조한 파트가 있었다. 데이터 사이언티스트 카밀 바르토차(Kamil Bartocha)는 저서 에 아래처럼 데이터의 성질을 11가지로 정리하였다. The Inconvenient Truth About Data Science 1. Data is never clean. 데이터..

[Python&파일 입출력pickle] 파이썬을 이용한 로또 프로그래밍 프로젝트

💰 파이썬을 이용한 로또 프로그래밍 미니 프로젝트 💰 최근 크리스마스 12/25와 새해첫날 1/1이 토요일.... 바로 로또 추첨일이었다보니 연말에 로또에 대한 생각이 막 스믈스믈 나의 생각을 차지하게 되었다. 저번 주 Python + Mysql + 파일입출력 프로젝트를 하고나니, 혼자서 간단하게 미니프로젝트를 할 수 있을것같다는 자신감이 생겨버렸고, 마침 오늘내일 여유가 조금 생긴 관계로 쉬는시간을 활용해 후다닥 짜봤다. 간단하게 작성할거니, 이번에는 오로지 파이썬으로만 작성을 해봤다! 먼저 전체 코드식부터 볼까여?? 👀 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 ..

[python&mysql] 은행시스템 만들기 - 4. pymysql 모듈로 연동시키기 & 판다스로 테이블 출력해보기

💻 pymysql 모듈로 연동시키기 (21.01.13.목) 1. mysql과 연동하는 함수 만들기 - ex)입금 시 사용하는 def pyHistoryD(x) #모듈 임포트하기 import pymysql #connect 연결하기! conn = pymysql.connect(host="localhost", port3306, db="bladb", passwd="비~밀", user="blauser") #cursor로 통로 만들기! cur = conn.cursor() #실행할 sql 쿼리문 작성 sql=''' insert into history(계좌번호,이름,입출금,금액,잔액) values(%s,%s,%s,%s,%s); ''' for data in bankinform: cur.execute(sql,(str(data..

[python&mysql] 은행시스템 만들기 - 3. Mysql에서 user,db,table 생성하기

💻 sql user,db,table 생성하기 (21.01.13.목) 1. python과 sql 연결 하기 전 작업 - root 계정 에서 mysql을 python과 연결하기 전 먼저 mysql에 sql user, databse, table들을 미리 만들어준다. # user 만들기 create user 유저이름@호스트 identified by '비밀번호'; create user blauser@localhost identified by '비~밀'; # 잘 생성되었는지 확인하기 select * from mysql.user; # database 생성하기 create database 데이터베이스; create database bladb; # db의 전체에 모든 접근권한부여하기 grant all privileges..

728x90