😏 K디지털트레이닝(KDT)

[사전교육] 5일차 - 빅데이터 에코시스템 알아보기

또방91 2021. 12. 23. 12:31
728x90

 

 

 

 

 

 

 

 

사전교육 5일차!!

오늘은 실습때문에 짧지만.... 과제가 많은.. 아주 강렬한 수업이었다.

앞으로 준비해야할 것이 많음을 깨달았던 날...!

 

 

 

 

 

 ✏    오늘의 숙제 및 커리큘럼 

 

22. 빅데이터 자료 얻기 사이트
* 위키독스:  https://wikidocs.net/
* 빅데이터 - 스칼라(scala), 스파크(spark)로 시작하기:
  https://wikidocs.net/book/26793
* Python 데이터 분석 실무:
https://wikidocs.net/book/1867
* PYTHON을 이용한 데이터 수집(Crawling):
https://ericnjennifer.github.io/python_crawling
* 스파크(Spark) 시작하기:
  https://gritmind.blog/2020/08/23/spark_start/
 
23. 빅데이터 (반드시알아보기)
 - kafka
 - NiFi
 - Airflow
 - NoSQL (MongoDB, Redis)
 - Spark
 - Zookeeper
 - ELK (Elasticsearch, Logstash, Kibana)
 - grafana 
 
24. 파이썬 라이브러리 공부하기
 참고(2021년 머신러닝을 위한 최고의 파이썬 라이브러리 8가지)
: https://m.hanbit.co.kr/media/channel/view.html?cms_code=CMS8609067358

 1) 넘파이 Numpy
 2) 텐서플로 Tensorflow
 3) 파이토치 PyTorch
 4) 판다스 Pandas
 5) Matplotlib
 6) 사이파이 Scipy
 7) 케라스 Keras
 8) 티아노 Theano
 9) 사이킷런 scikit-learn(sklearn)
 10) Seaborn
 11) Bokeh
 12) Plotly
 13) mglearn
 14) 스탯츠모델즈 statsmodels
 
💡  과제  :
1) 산학 이전까지 꾸준히 조사 및 분석 (개념, 각 라이브러리 함수들, 사용법들, 기타)
2) 서버 / 클라이언트 모델 프로그래밍 (자바/파이썬), 네트워크 프로그래밍, 소켓 프로그래밍
3) 통합개발도구 (IDE) - 주피터 노트북, 코랩, vscode 다양하게 사용해보기
4) 분석 ==>> 파이썬 기반으로 공개데이터를 활용해서 분석
6) 데이터와 데이터 어노테이션 도구에 대한 부분도 정리 (태깅과 라벨링)
7) 데이터 EDA(탐색적 데이터 분석)에 대한 방법 조사
8) ML(Machine Learning) / DL(Deep Learning)

 

 

 

오늘도 뽜이팅 😎

 

 

 

 

 

728x90