728x90

K디지털트레이닝 15

[ELK] ELK활용 미니프로젝트 - 마무리하면서 느낀 점

💻 마무리하면서 느낀 점 1) ELK 설치 안내 블로그 글을 통해 동일하게 설정을 진행하다보니, 실제로 내가 생각하고 설정한 경로, 파일 형식 등이 아니었기에 초반 설정에 많은 시간을 소비가 되었다 ㅠㅠ 그리고 ELK 실행 순서 등 세세한 내용이 빠져있어서 오류발생이 잦았고, 이 또한 많은 시간을 소비가 엄청.....😂 그래서 elastic 가이드북의 설명을 통해, 데이터분석에서 내가 필요한 설정을 직접 정하여 시행하였고, 이후 원활한 프로그램 실행을 할 수 있었다. (2) 리눅스 명령어를 다루는 실력이 다소 부족하여 파일 권한설정 변경(chmod)이나 계정 변경에 있어서 다소 어려움이 있었기에, ELK프로젝트 도중 리눅스 공부를 한 후 수행해야하는 애로사항이 있었다. (3) 연도별 출생 수 data 필..

[사전교육] 10일차 - 딥러닝, MSA, 교육 전 당부의 말 (마지막날!!)

사전교육 10일차!! 대망의 마지막 날!! 오늘은 딥러닝과 MSA 등 강의가 시작되었다. ✏ 오늘의 숙제 및 커리큘럼 ✏ 30. Deep Learning(ANN, DNN, CNN, RNN, SLP, MLP) 비교: https://dbrang.tistory.com/1537 개요 파악 Overfitting(과적합, 과대적합) / Underfitting(과소적합) 31. 클라우드 MSA ppt *도커 *CNCF: https://landscape.cncf.io/ 2주동안의 사전교육을 통해 내가 미리 공부해야할 파트에 대해 배움에 너무 감사하다 내가 공부할 게 쌓이다 보니 간혹 스트레스때문에 두통이 있었는데,그래도 미리 알아서 참 다행이다.. 헷 역시나 오늘도 뽜이팅 😎

[ELK] ELK활용 미니프로젝트 - 시각화 및 대시보드 만들기

💻 시각화 및 대시보드 만들기 🥕1. stack management에서 index pattern 눌러 birth_year와 birth_generation 인덱스를 등록한다! 🥕2. Kibana - discover에 데이터 들어왔는지 확인해준다. 🥕3. Kibana - Visualize로 그래프를 그려준다. [예] birth_generation - 세대별로 H.Bar그래프 만들기 * Horizontal axis는 원하는 Generation col.값 선택 * Vertical axis는 Fileters로 월별 12개 추가하여 설정하기 - 세대별로 Dounut 그래프 만들기 * Slice by는 filters로 월별로(위에 H.bar처럼), Size by는 원하는 세대로 설정하기 - 세대통합 Stack are..

[ELK] ELK활용 미니프로젝트 - ELK 하나씩 구성해가기

💻 ELK 하나씩 구성해가기 ELK 설치가 다 되었다는 전제 하에 ELK 하나씩 구성해보자~ 설치에 관련해서는 이전에 발행했던 아래를 참고하면 된다! 2021.12.15 - [빅데이터/빅데이터 자료 공유] - [자료공유] Centos7 환경에서 Elastick stack 설치하기(elastic search, kibana, logstash, filebeats ) [자료공유] Centos7 환경에서 Elastick stack 설치하기(elastic search, kibana, logstash, filebeats ) 정말로... 고마운 분들이 많다............ 그러기에 나누고 싶은 맘!!! 어느 포스팅보다도 너무 좋았던 포스팅!!! 감사합니당 💕💕💕 🎀 Virtual Box & CentOS7 설치하기..

[사전교육] 9일차 - 머신러닝 프로젝트 살펴보기 & 훈련에 들어가기 전 주의사항 (오늘도 실습은 있다..ㅎ)

사전교육 9일차!! 오늘은 1월3일 본격적인 훈련이 시작되기 전 주의사항과 도움이되는 여러 팁tip을 알려주신 강의었다. 훈련기간동안에 내가 가져야 할 마인드라든지, 그 전에 공부해야 할 것등등 미리 열심히 공부해야한다는 건 알겠다...ㅠㅠ ✏ 오늘의 숙제 및 커리큘럼 ✏ 29. 실습 붓꽃 분류 예제 https://tensorflow.blog/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D/1-7-%EC%B2%AB-%EB%B2%88%EC%A7%B8-%EC%95%A0%ED%94%8C%EB%A6%AC%EC%BC%80%EC%9D%B4%EC%85%98-%EB%B6%93%EA%BD%83%EC%9D%98-%ED%92%88%EC%A2%85-%EB%B..

[사전교육] 8일차 - 오늘은 자습이 필요한 날이겠군요..ㅠ

사전교육 8일차!! 오늘은 오전에만 이론강의 이루어져서 밀렸던 공부를 할수 있는 날이었다. 지금까지 내가 감당하기 힘든 정보들이 흘러나와서... 포화 상태였기때문!!! 파이썬을 하려면 백준문제를 풀기보단 소켓프로그래밍을 구축할 줄 알아야한다하던데... ㅠㅠ 이것도 공부해야겟지??😂 ✏ 오늘의 숙제 및 커리큘럼 ✏ 28. 파이썬 소켓 프로그래밍 - 서버 / 클라이언트 모델 - 소켓 - TCP / UDP https://webnautes.tistory.com/1381 *EDA - 데이터에 대한 이해 - 도메인 이해가 선행적으로 필요 - 가시화 도구(분포도, 패턴 등) - 데이터 전처리/후처리 https://eda-ai-lab.tistory.com/13 *AI - 알고리즘에 대한 이해, 사용법/활용법, 가치/목..

[사전교육] 7일차 - 오늘도 실습과제가 왕창..

사전교육 7일차!! 오늘은 엄마가 병원가는 날이라서 뭔가 정신없이 강의를 들었다.. ✏ 오늘의 숙제 및 커리큘럼 ✏ 27. 파이썬 - 파일 입출력 - 파일 입력 및 출력 - 소켓 프로그래밍 - 분석가 *개념알기 - MSA (Micro Service Architecture) - DevOps *engineer 분류 - full stack engineer - full lifecycle engineer *데이터 얻기 - data.go.kr - data.seoul.go.kr - AI hub 💡실습: 10 공공 정보 데이터 수집하기 https://ericnjennifer.github.io/python_crawling/2018/01/21/PythonCrawling_Chapt11.html 💡실습: 11 일반적인 웹 페..

[사전교육] 6일차 - 데이터 크롤링 (실습이 왕창...)

사전교육 6일차!! 오늘은 데이터크롤링과.. 많은 실습과제를 준 강의였다. ✏ 오늘의 숙제 및 커리큘럼 ✏ 25. 6일차 교육 **elk 구축질문 /var/log/elasticsearch/elasticsearch.log iptables -F F는 flush의 의미로 iptables의 규칙을 삭제/초기화 gnome-desktop 선택 구축이 완료되면 https://victorydntmd.tistory.com/312?category=742451 실습 필요 elasticsearch에서 curl을 이용한 REST Method(PUT, POST, GET, DELETE)를 사용 $source ~/.bash_profile 26. 파이썬 기반 데이터 크롤링 💡 실습1 PYTHON을 이용한 데이터 수집(Crawling)..

[사전교육] 5일차 - 빅데이터 에코시스템 알아보기

사전교육 5일차!! 오늘은 실습때문에 짧지만.... 과제가 많은.. 아주 강렬한 수업이었다. 앞으로 준비해야할 것이 많음을 깨달았던 날...! ✏ 오늘의 숙제 및 커리큘럼 ✏ 22. 빅데이터 자료 얻기 사이트 * 위키독스: https://wikidocs.net/ * 빅데이터 - 스칼라(scala), 스파크(spark)로 시작하기: https://wikidocs.net/book/26793 * Python 데이터 분석 실무: https://wikidocs.net/book/1867 * PYTHON을 이용한 데이터 수집(Crawling): https://ericnjennifer.github.io/python_crawling * 스파크(Spark) 시작하기: https://gritmind.blog/2020/08/..

[사전교육] 4일차 - elk 구축하기 및 빅데이터의 전반적인 내용

사전교육 4일차!! 오늘은 elk구축 및 빅데이터 전반적인 내용의 강의가 시작되었다. ✏ 오늘의 숙제 및 커리큘럼 ✏ 18. 16일 과정 선행 학습 1) 빅데이터 - 하둡,하이브로 시작하기 교재: https://wikidocs.net/22652 2) PPT (빅데이터생태계, 빅데이터 데이터 처리) 19. fastestmirror langpacks 1) #vi /etc/resolv.conf nameserver 168.126.63.1 nameserver 8.8.8.8 :wq! #service network restart 20. 빅데이터 * 도메인 분석 * pre-trained model: 사전학습 된 모델 * 데이터 얻을 수 있는 사이트 - 통합데이터지도: https://www.bigdata-map.kr/ ..

728x90