728x90

ELK미니프로젝트 6

[ELK] ELK활용 미니프로젝트 - 마무리하면서 느낀 점

💻 마무리하면서 느낀 점 1) ELK 설치 안내 블로그 글을 통해 동일하게 설정을 진행하다보니, 실제로 내가 생각하고 설정한 경로, 파일 형식 등이 아니었기에 초반 설정에 많은 시간을 소비가 되었다 ㅠㅠ 그리고 ELK 실행 순서 등 세세한 내용이 빠져있어서 오류발생이 잦았고, 이 또한 많은 시간을 소비가 엄청.....😂 그래서 elastic 가이드북의 설명을 통해, 데이터분석에서 내가 필요한 설정을 직접 정하여 시행하였고, 이후 원활한 프로그램 실행을 할 수 있었다. (2) 리눅스 명령어를 다루는 실력이 다소 부족하여 파일 권한설정 변경(chmod)이나 계정 변경에 있어서 다소 어려움이 있었기에, ELK프로젝트 도중 리눅스 공부를 한 후 수행해야하는 애로사항이 있었다. (3) 연도별 출생 수 data 필..

[ELK] ELK활용 미니프로젝트 - 시각화 및 대시보드 만들기

💻 시각화 및 대시보드 만들기 🥕1. stack management에서 index pattern 눌러 birth_year와 birth_generation 인덱스를 등록한다! 🥕2. Kibana - discover에 데이터 들어왔는지 확인해준다. 🥕3. Kibana - Visualize로 그래프를 그려준다. [예] birth_generation - 세대별로 H.Bar그래프 만들기 * Horizontal axis는 원하는 Generation col.값 선택 * Vertical axis는 Fileters로 월별 12개 추가하여 설정하기 - 세대별로 Dounut 그래프 만들기 * Slice by는 filters로 월별로(위에 H.bar처럼), Size by는 원하는 세대로 설정하기 - 세대통합 Stack are..

[ELK] ELK활용 미니프로젝트 - ELK 하나씩 구성해가기

💻 ELK 하나씩 구성해가기 ELK 설치가 다 되었다는 전제 하에 ELK 하나씩 구성해보자~ 설치에 관련해서는 이전에 발행했던 아래를 참고하면 된다! 2021.12.15 - [빅데이터/빅데이터 자료 공유] - [자료공유] Centos7 환경에서 Elastick stack 설치하기(elastic search, kibana, logstash, filebeats ) [자료공유] Centos7 환경에서 Elastick stack 설치하기(elastic search, kibana, logstash, filebeats ) 정말로... 고마운 분들이 많다............ 그러기에 나누고 싶은 맘!!! 어느 포스팅보다도 너무 좋았던 포스팅!!! 감사합니당 💕💕💕 🎀 Virtual Box & CentOS7 설치하기..

[ELK] ELK활용 미니프로젝트 - 데이터 전처리 (feat. pandas)

💻 데이터 전처리 내려받은 자료는 내가 원하는 필터링을 거쳐 수집이 가능하긴 했지만 아쉽게도 내가 원하는 형태로는 수집받지 못했다...😥 그러니 이럴 때 필요한 건 뭐다?? 데이터 전처리!!!!! 다행히 pandas 공부를 조금 했어서 데이터 전처리를 통해 원하는 형태를 만들 수 있었다. 바로바로 디버깅을 하면서 처리가 잘되어 가고 있나 화인하기 위해, 바로 VS code로 작성하지 않고 colab을 사용하여 확인하면서 전처리를 해나갔다. 전처리 1차로는 형식으로 데이터 프레임을 뽑고 전처리 2차로는 형식으로 데이터 프레임을 뽑을 것이다. ** Github에 들어가면 중간중간 실행결과가 뜨니 꼭 들어가 참고해보길 바란다!! df1(연도별): https://git..

[ELK] ELK활용 미니프로젝트 - 데이터 수집( KOSIS 국가통계포털)

💻 데이터 수집 계획했던 대로 KOSIS 국가통계포털에 들어가 인구동향 - 출생 자료를 조회하였다. 이 자료는 월/분기/연도 별로 출생/사망/혼인/이혼을 알수있는 종합 인구동향 데이터였다. 그래서인지 원하는 자료를 필터링해서 받을 수 있었는데, 1. 행정구역별 : 전국 2. 종류별 : 출생아수(명) 3. 시점 : 1985.01~ 2020.12 🤞🍀

[ELK] ELK활용 미니프로젝트 - 프로젝트 구상 (feat. 굿노트)

1주차 큰 덩어리 과제라고 해야하나.... ELK를 활용한 미니프로젝트 보고서를 과제로 내주셨다.. 먼저 주제를 정하고, 그다음 Virtualbox에서 Cent OS7 가상환경을 만들었으면ELK 설치를 한다. 이후 데이터를 filebeat > logstash > elasticsearch > kibana를 거쳐 최종 시각화된 결과물을 도출하고이 과정을 보고서에 담으면 되는 미니프로젝트 과제! 먼저 주제를 정해볼까나?? 옆 남편님 책상에 놓인 엄청큰 아이패드프로를 잡아들고굿노트로 끄적이기 시작 굿노트로 정말 끄적이다보니 글씨가 여기저기 막 날아다니는 것처럼 보이지만... 뭐.. 미니프로젝트인 만큼 거창한 주제 말고 소소한 거부터 시작하기로했다. ㅎ 무사히 잘 완료 시켰으면 하는 마음이 ㅎㅎ 🤞🍀

728x90