728x90

사전교육 13

[사전교육] 10일차 - 딥러닝, MSA, 교육 전 당부의 말 (마지막날!!)

사전교육 10일차!! 대망의 마지막 날!! 오늘은 딥러닝과 MSA 등 강의가 시작되었다. ✏ 오늘의 숙제 및 커리큘럼 ✏ 30. Deep Learning(ANN, DNN, CNN, RNN, SLP, MLP) 비교: https://dbrang.tistory.com/1537 개요 파악 Overfitting(과적합, 과대적합) / Underfitting(과소적합) 31. 클라우드 MSA ppt *도커 *CNCF: https://landscape.cncf.io/ 2주동안의 사전교육을 통해 내가 미리 공부해야할 파트에 대해 배움에 너무 감사하다 내가 공부할 게 쌓이다 보니 간혹 스트레스때문에 두통이 있었는데,그래도 미리 알아서 참 다행이다.. 헷 역시나 오늘도 뽜이팅 😎

[사전교육] 9일차 - 머신러닝 프로젝트 살펴보기 & 훈련에 들어가기 전 주의사항 (오늘도 실습은 있다..ㅎ)

사전교육 9일차!! 오늘은 1월3일 본격적인 훈련이 시작되기 전 주의사항과 도움이되는 여러 팁tip을 알려주신 강의었다. 훈련기간동안에 내가 가져야 할 마인드라든지, 그 전에 공부해야 할 것등등 미리 열심히 공부해야한다는 건 알겠다...ㅠㅠ ✏ 오늘의 숙제 및 커리큘럼 ✏ 29. 실습 붓꽃 분류 예제 https://tensorflow.blog/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D/1-7-%EC%B2%AB-%EB%B2%88%EC%A7%B8-%EC%95%A0%ED%94%8C%EB%A6%AC%EC%BC%80%EC%9D%B4%EC%85%98-%EB%B6%93%EA%BD%83%EC%9D%98-%ED%92%88%EC%A2%85-%EB%B..

[사전교육] 8일차 - 오늘은 자습이 필요한 날이겠군요..ㅠ

사전교육 8일차!! 오늘은 오전에만 이론강의 이루어져서 밀렸던 공부를 할수 있는 날이었다. 지금까지 내가 감당하기 힘든 정보들이 흘러나와서... 포화 상태였기때문!!! 파이썬을 하려면 백준문제를 풀기보단 소켓프로그래밍을 구축할 줄 알아야한다하던데... ㅠㅠ 이것도 공부해야겟지??😂 ✏ 오늘의 숙제 및 커리큘럼 ✏ 28. 파이썬 소켓 프로그래밍 - 서버 / 클라이언트 모델 - 소켓 - TCP / UDP https://webnautes.tistory.com/1381 *EDA - 데이터에 대한 이해 - 도메인 이해가 선행적으로 필요 - 가시화 도구(분포도, 패턴 등) - 데이터 전처리/후처리 https://eda-ai-lab.tistory.com/13 *AI - 알고리즘에 대한 이해, 사용법/활용법, 가치/목..

[사전교육] 7일차 - 오늘도 실습과제가 왕창..

사전교육 7일차!! 오늘은 엄마가 병원가는 날이라서 뭔가 정신없이 강의를 들었다.. ✏ 오늘의 숙제 및 커리큘럼 ✏ 27. 파이썬 - 파일 입출력 - 파일 입력 및 출력 - 소켓 프로그래밍 - 분석가 *개념알기 - MSA (Micro Service Architecture) - DevOps *engineer 분류 - full stack engineer - full lifecycle engineer *데이터 얻기 - data.go.kr - data.seoul.go.kr - AI hub 💡실습: 10 공공 정보 데이터 수집하기 https://ericnjennifer.github.io/python_crawling/2018/01/21/PythonCrawling_Chapt11.html 💡실습: 11 일반적인 웹 페..

[사전교육] 6일차 - 데이터 크롤링 (실습이 왕창...)

사전교육 6일차!! 오늘은 데이터크롤링과.. 많은 실습과제를 준 강의였다. ✏ 오늘의 숙제 및 커리큘럼 ✏ 25. 6일차 교육 **elk 구축질문 /var/log/elasticsearch/elasticsearch.log iptables -F F는 flush의 의미로 iptables의 규칙을 삭제/초기화 gnome-desktop 선택 구축이 완료되면 https://victorydntmd.tistory.com/312?category=742451 실습 필요 elasticsearch에서 curl을 이용한 REST Method(PUT, POST, GET, DELETE)를 사용 $source ~/.bash_profile 26. 파이썬 기반 데이터 크롤링 💡 실습1 PYTHON을 이용한 데이터 수집(Crawling)..

[사전교육] 5일차 - 빅데이터 에코시스템 알아보기

사전교육 5일차!! 오늘은 실습때문에 짧지만.... 과제가 많은.. 아주 강렬한 수업이었다. 앞으로 준비해야할 것이 많음을 깨달았던 날...! ✏ 오늘의 숙제 및 커리큘럼 ✏ 22. 빅데이터 자료 얻기 사이트 * 위키독스: https://wikidocs.net/ * 빅데이터 - 스칼라(scala), 스파크(spark)로 시작하기: https://wikidocs.net/book/26793 * Python 데이터 분석 실무: https://wikidocs.net/book/1867 * PYTHON을 이용한 데이터 수집(Crawling): https://ericnjennifer.github.io/python_crawling * 스파크(Spark) 시작하기: https://gritmind.blog/2020/08/..

[사전교육] 4일차 - elk 구축하기 및 빅데이터의 전반적인 내용

사전교육 4일차!! 오늘은 elk구축 및 빅데이터 전반적인 내용의 강의가 시작되었다. ✏ 오늘의 숙제 및 커리큘럼 ✏ 18. 16일 과정 선행 학습 1) 빅데이터 - 하둡,하이브로 시작하기 교재: https://wikidocs.net/22652 2) PPT (빅데이터생태계, 빅데이터 데이터 처리) 19. fastestmirror langpacks 1) #vi /etc/resolv.conf nameserver 168.126.63.1 nameserver 8.8.8.8 :wq! #service network restart 20. 빅데이터 * 도메인 분석 * pre-trained model: 사전학습 된 모델 * 데이터 얻을 수 있는 사이트 - 통합데이터지도: https://www.bigdata-map.kr/ ..

[ELK] ELK활용 미니프로젝트 - 데이터 전처리 (feat. pandas)

💻 데이터 전처리 내려받은 자료는 내가 원하는 필터링을 거쳐 수집이 가능하긴 했지만 아쉽게도 내가 원하는 형태로는 수집받지 못했다...😥 그러니 이럴 때 필요한 건 뭐다?? 데이터 전처리!!!!! 다행히 pandas 공부를 조금 했어서 데이터 전처리를 통해 원하는 형태를 만들 수 있었다. 바로바로 디버깅을 하면서 처리가 잘되어 가고 있나 화인하기 위해, 바로 VS code로 작성하지 않고 colab을 사용하여 확인하면서 전처리를 해나갔다. 전처리 1차로는 형식으로 데이터 프레임을 뽑고 전처리 2차로는 형식으로 데이터 프레임을 뽑을 것이다. ** Github에 들어가면 중간중간 실행결과가 뜨니 꼭 들어가 참고해보길 바란다!! df1(연도별): https://git..

[ELK] ELK활용 미니프로젝트 - 데이터 수집( KOSIS 국가통계포털)

💻 데이터 수집 계획했던 대로 KOSIS 국가통계포털에 들어가 인구동향 - 출생 자료를 조회하였다. 이 자료는 월/분기/연도 별로 출생/사망/혼인/이혼을 알수있는 종합 인구동향 데이터였다. 그래서인지 원하는 자료를 필터링해서 받을 수 있었는데, 1. 행정구역별 : 전국 2. 종류별 : 출생아수(명) 3. 시점 : 1985.01~ 2020.12 🤞🍀

[ELK] ELK활용 미니프로젝트 - 프로젝트 구상 (feat. 굿노트)

1주차 큰 덩어리 과제라고 해야하나.... ELK를 활용한 미니프로젝트 보고서를 과제로 내주셨다.. 먼저 주제를 정하고, 그다음 Virtualbox에서 Cent OS7 가상환경을 만들었으면ELK 설치를 한다. 이후 데이터를 filebeat > logstash > elasticsearch > kibana를 거쳐 최종 시각화된 결과물을 도출하고이 과정을 보고서에 담으면 되는 미니프로젝트 과제! 먼저 주제를 정해볼까나?? 옆 남편님 책상에 놓인 엄청큰 아이패드프로를 잡아들고굿노트로 끄적이기 시작 굿노트로 정말 끄적이다보니 글씨가 여기저기 막 날아다니는 것처럼 보이지만... 뭐.. 미니프로젝트인 만큼 거창한 주제 말고 소소한 거부터 시작하기로했다. ㅎ 무사히 잘 완료 시켰으면 하는 마음이 ㅎㅎ 🤞🍀

728x90