728x90

😆 Big Data/- ELK STACK 8

[ELK] ⚒️12.2/3장 리눅스 엘라스틱서치 & 키바나 설치 (Ubuntu)

12.2장 리눅스 엘라스틱서치설치 / 12.3장 리눅스 키바나 설치 현재 설치 ver: VM VirtualBox 6.1.32 / Ubuntu 18.04.6 설치예정 ver: Elasticsearch와 Kibana 7.10.1 예전에 해보지 않았던 방법으로 다양하게 엘라스틱 스택을 설치해보려한다. 리눅스 레드햇 계열 CentOS에서 rpm 리눅스 패키지로도 설치해보고, wget으로도 설치해봤으니 이번엔 리눅스 데비안 계열 Ubuntu에서 deb 리눅스패키지로 설치해보려한다! ⚒️12.2 리눅스 엘라스틱서치 설치 - 리눅스 패키지 이용하기 : 리눅스 패키지는 레드햇 계열 리눅스(CentOS)에는 rpm / 데비안 계열 리눅스(Ubuntu)에는 deb 파일을 각각 지원한다. 장점 리눅스 기본 디렉토리 구조에 ..

[ELK] 📝1장 엘라스틱 스택(Elastic Stack)이란

1장 엘라스틱 스택(Elastic Stack)이란 - 검색 엔진을 넘어서 빅데이터 플랫폼으로 ! 엘라스틱 스택은 개인적으로 아쥬심플섹시한 플랫폼이라고 생각한다. 그 이유인즉슨 내가 사고싶은 것이 많이 있을 때, 각각의 물건이 최고인 것을 여기저기(A,B,C마트...)에서 따로 구하기보다는 A마트에서 전체를 구매할 때, B마트에서 전체를 구매할 때, C마트에서 전체를 구매할 때 이렇게 비교를 하고 물건 구매를 한다. 즉 ONE-STOP, ALL-ONE 이런 걸 좋아한다 ㅎ ===> 그래서 정해진 것이 엘라스틱 스택! 목차 1.1 엘라스틱 서치의 탄생 1.2 엘라스틱 스택으로 발전 1.3 엘라스틱 스택의 구성요소 1.4 엘라스틱 스택의 용도 1.5 빅데이터 플랫폼의 일부로 동작하는 엘라스틱 스택 1.6 유사..

[ELK] ⚒️12장 리눅스 실습 환경구성 - (Ubuntu + VM VirtualBox)

12장 리눅스 실습 환경구성 - (Ubuntu + VM VirtualBox) - 12.1 버추얼박스에서 우분트 설치하기 - 교재의 가장 처음부터가 아닌 , 461쪽 을 가장 먼저 시작하려한다. 평소 VM virtualbox + 리눅스 CentOS7으로 환경구성을 한 뒤 ELK를 설치했지만, Ubuntu를 사용하고 싶어서!! 일단 VM VirtualBox는 설치하는 방법은 쉬우니, Ubuntu 설치부터 포스팅해보려한다! (*버추얼박스 설정은 특별히 수정할 것이 없다. 그냥 다운로드 받아서 설치만 하면 된다.) 현재 나의 버츄얼박스 버젼은 6.1.32 ⚒️12.1.1 우분트 다운로드 1. 구글 검색창에 'ubuntu' 검색하기 - 다운로드 페이지가 가장 먼저 나온다. 클릭해서 접속! https://ubunt..

[ELK] 『엘라스틱 스택 개발부터 운영까지』좋은 책 발견!!😳

『 엘라스틱 스택 개발부터 운영까지 』 데이터 수집, 변환, 분석, 시각화를 위한 엘라스틱서치, 로그스태시, 비츠, 키바나의 모든 것 📖 왜 이 책을 읽기 시작했나.....? * 나에게 ELK STACK은 - 2~3주간 배웠던 데이터 파이프라인 구축을 배우면서, ELK STACK이 엄청 좋은 플랫폼이라는 걸 깨달았기 때문에 ! - 나의 Tech skill로 습득하고 싶은 것! * ELK에 대해 너무 잘 소개 되었기에! - 최신 version의 ELK STACK을 기준으로 설명해줌 - 직접 실습할 수 있는 예제들이 잘 되어있기에! 📖 차례 1부 | 엘라스틱 스택 개요 1장 엘라스틱 스택이란 2장 윈도우 실습 환경 구성 2부 | 엘라스틱 스택 구성요소 4장 엘라스틱서치: 검색 5장 엘라스틱서치: 집계 6장 ..

[ELK] 🥁ELK stack에 공공데이터 (오픈 api) 넣기 (http_poller)

🍰 공공데이터를 ELk에 넣는 방법은 ?? * 현재 Beat -> Logstash -> Elasticsearch -> Kibana 구축된 상태에서 공공데이터 오픈 api를 Logstash에 Pipeline을 추가하여 넣어준다. 🍰 설치 순서를 요약하자면 ?? : 공공데이터에서 url받은 후, logstash의 pipeline 따로 생성하여 엘라스틱서치로 보내기 1. 공공 데이터 사이트의 API 자료 확인하기 2. logstash에서 API .conf파일 만들기 3. logstash에서 pipeline 설정하기 4. logstash 다시 시작하기 5. Elasticsearch Index 확인 🍰 본격적으로 시작하기 👒 나의 경우는 CentOS7에서 root가 아니라 사용자계정으로 로그인을 했어서 su ro..

[ELK] 🥁logstash http_poller 사용하기 (input, output)

🍰 open-api conf 파일 작성하기 (http_poller) *filter의 경우 파일 형식이나 구성에 따라 다양하다보니, input과 output에 대한 설명을 하려고 한다. https://www.elastic.co/guide/en/logstash/8.0/plugins-inputs-http_poller.html Http_poller input plugin | Logstash Reference [8.0] | Elastic When ECS is enabled, set target in the codec (if the codec has a target option). Example: codec => json { target => "TARGET_FIELD_NAME" } www.elastic.co 0. ..

[ELK] 🥁CentOS에서 packetbeat -> logstash 연결하기 (패킷비트&로그스태시)

🍰 packetbeat를 설치하게 되면 ?? * 기능 : 서비스와 애플리케이션 모니터링/ 프로토콜을 선택하거나 원하는 프로토콜을 직접 구축가능 / 네트워크 트래픽 검색 및 분석/ Elasticsearch나 Logstash로 데이터를 수집하고 Kibana에서 시각화/ 모든 데이터 요소 모니터링 😊 자세한 내용은 아래 사이트 눌러서 확인하기 ~ https://www.elastic.co/kr/beats/packetbeat Packetbeat: Elasticsearch를 사용한 네트워크 분석 | Elastic HTTP, DNS, MySQL, Postgres 같은 네트워크 프로토콜을 분석하여 애플리케이션 성능을 실시간 모니터링하고 Elasticsearch에 데이터를 통합합니다. www.elastic.co 🍰 설치..

[ELK] 🥁CentOS에서 metricbeat -> logstash 연결하기 (메트릭비트&로그스태시)

🍐 Metricbeat를 설치하게 되면 ?? * 기능 : 시스템 모니터링 간소화 / 하나의 바이너리, 여러 개의 모듈 / 컨테이너 지원 / 모든 데이터 요소 모니터링 😊 자세한 내용은 아래 사이트 눌러서 확인하기 ~ https://www.elastic.co/kr/beats/metricbeat Metricbeat: 경량 메트릭 수집기 CPU, 메모리, Redis 같은 시스템과 서비스에서 메트릭과 통계 데이터를 수집하여 Metricbeat를 통해 Elasticsearch(또는 Logstash)로 전송합니다. www.elastic.co 🍐 설치 순서를 요약하자면 ?? : metricbeat를 설치 후, logstash의 pipeline 따로 생성하여 받기 1. 메트릭비트(Metricbeat) 설치하기 2. M..

728x90