[사전교육] 3일차 - elastic stack 살펴보기, 데이터 수집

 

 

 

 

 

사전교육 3일차!!

elastic stack 설치하는게..... 참 힘든가 보다...

나만 힘든게 아니라는 점이.. 조금 위로가 되는.....ㅠㅠㅠ

 

 

그런데 그 다음은 어떻게 하라는 거지??

하.... 일단 미니 프로젝트 보고서를 써야하니

먼저 주제부터 정해보자.

 

그다음에 한번 해봐야지

 

 

 

 ✏    오늘의 사전교육  ✏

 

(추가설명) 15. 설치 및 구축
 - 윈도우 10 + virtulbox 설치 : https://kkensu.tistory.com/41
 - virtualbox + CentOS7 설치 : 이미지 파일은 DVD iso 이미지 파일을 다운로드
   CentOS7 설치시에 파티션 부분에서 장치 유형은 표준 파티션으로 선택
   소프트웨어 선택은 gnome-desktop을 선택
   https://blog.naver.com/anysecure3/221571814401
 - centos + elk 설치 및 구축
   자바 버전 확인 - java -version으로 하시는데, 1.8 이상으로 설치
   oracle java-sdk나 혹은 openjdk를 설치하셔도 되지만, 가능하면 openjdk로 설치
   logstash 설치 완료 후 cd /etc/logstash 하신 후에 cp lostash-sample.conf conf.d 하시면 복사
   https://classicismist.blogspot.com/2020/01/centos7-elk-stack-filebeat-logstash.html

  로그 : 시스템 로그, 어플리케이션 로그
   시스템 로그 : 로그 파일, 메트릭(CPU, 메모리, 디스크 사용량 등)
   CentOS7 설치 후에 시스템 로그 파일의 위치?
   elasticsearch, logstash, kibana, filebeat의 로그 파일의 위치?

  데이터 소스 :
  /etc/filebeat/filebeat.yml
  path
   #- /var/log/secure
   - /var/log/messages 로 변경을 하시고 다시 filebeat를 재시작하시면 됩니다.  

  beats : 경량 데이터 수집기 -->> logstash로 데이터를 전달
  - 1. filebeat  : /etc/filebeat/filebeat.yml
  - 2. metricbeat
  - 3. packetbeat
  - auditbeat
  - winlogbeat
  - 4. heartbeat
  - functionbeat

  logstash
  - input, filter, output
  - 플러그인 ( input, output)
  - logstash filter : 문법, 정규표현식
  - /etc/logstash/pipelines.yml
  - /etc/logstash/conf.d/sample-logstash.yml
 
 elasticsearch
  - apache lucene 기반 전문(full text) 검색 엔진
  - index, inverted index
  - curl + REST Method(get, put, post, delete)
  
 kibana
  - devtools 
  - REST Method 사용가능

16. 교육과정 운영중에 각 학습 단계별 미션
 - 웹 크롤러 기반의 데이터 수집: SNS와 같은 소셜 데이터 -> 저장(전처리/후처리) -> 데이터 분석
 - 정부 공공데이터(data.go.kr), 서울시를 포함한 각 지자체 데이터(seoul.data.go.kr 등)
 - AI Hub의 각종 데이터 -> 분석을 위한 데이터
 - 통계청 -> data.go.kr
 - 경찰청
 - 기상데이터를 포함한 환경데이터 -> data.go.kr
 - 미세먼지, 초미세먼지 데이터
 - 의료 데이터를 포함한 금융데이터 -> MyData
 - Kaggle 데이터
 - 직접 생성한 데이터
 - 형식상 시계열(time series) 데이터 필요성
 ==>> 수업을 들으시면서 수업중 데이터가 필요한 수업이 있으면 강사님이 제공하는 데이터 외에
          별도로 데이터를 수집 및 저장을 해서 파이썬이든 데이터 분석이든 위 데이터를 활용 연습을 해봐야 됩니다.
 ==>> 데이터 분석 수업을 들으시면서 개념과 개요, 활용방법, EDA 등 여러 수업을 들으시겠지만 특히 논문을 많이 읽어봐야 됩니다.(분석 관련)


17.  리눅스에서
  /  : 루트 파일시스템, 일반적으로 시스템에 사용되는 거의 모든 소프트웨어 기타 정보들이 존재
 /root : root 계정의 홈 디렉토리

  ifconfig 
  ip addr 로 컴퓨터의 IP를 확인하는것
  
  host를 localhost나 127.0.0.1 로 지정을 하셨을 것

 

 

 

 

오늘도 뽜이팅 😎