코딩하는 간호사

데이터 EDA를 위한 Pandas 역량기르기 타~임! * 데이터 출처: https://github.com/justmarkham/DAT8/blob/master/data/u.user GitHub - justmarkham/DAT8: General Assembly's 2015 Data Science course in Washington, DC General Assembly's 2015 Data Science course in Washington, DC - GitHub - justmarkham/DAT8: General Assembly's 2015 Data Science course in Washington, DC github.com Step 1. 필요한 라이브러리 임포트¶ In [5]: import pandas ..

👟 한걸음... 성장 드디어 설날을 뺀다 해도 3주간의 대장정이 끝났다............😥 설날이 중간에 있어서 휴식기간을 가졌음에도.... 너무나도 피폐해져가는 나날이었다. 이해도를 떠나서 수많은 오류 파도들이 내게 정면으로 쏟아져왔기에.. 내가 이렇게 인내심이 있는 사람임을 비로소 느낀다... ㅎ 👟 그동안 배운것을 쭉 읊어본다면! 1. Elastic Stack - Beats ( Filebeat, Metricbeat, Packetbeat ) - Logstash - Elasticsearch - Kibana 2. 분산 및 코디시스템 - Zookeeper - Kafka 3. 실시간 처리 및 저장소 - Spark strure straming - hadoop 👟 너무 광범위하게 배웠던 터라 엄청 걱정했던 ..

데이터 로그 모니터링 시각화 오픈소스 도구로 많이 사용하는 Kibana와 Grafana !! 각각에 대해 알아보고, 차이점에 대해서 표로 알아보자 📊 1. 들어가기 전에 1) Kibana란? 🪢Kibana는 Elastic 회사에서 만든 데이터 시각화 오픈소스이다. 즉, Elasticsearch 데이터를 시각화하고 Elastic Stack을 탐색하게 해주는 무료 오픈 소스 인터페이스입니다. 🪢Kibana의 기능은 1. 탐색 및 시각화 : 시각화, 데이터 탐색, 대시보드, 공유 및 공동작업, 머신러닝 2. 관리 및 모니터링: 보안, 관리, 모니터링, 경보, 개발자 도구, 배포 3. 솔루션: ELASTIC MAPS/ LOGS/ MERICS/ UPTIME/ APM/ SECURITY/ ENTERPRISE SEAR..

1. ERD에 대해 알아보자!! 1. ERD란? ; 데이터모델링 할 때에 ERD을 통하여 구조화된 데이터를 표현할 수 있다. ERD를 풀어써보자면 Entity-Relationship Diagram으로, 개체-관계 도표라고 한다. 여러사람과 협업하여 프로젝트를 수행하면서 ERD를 통해 DB테이블을 시각화해놓으면 원활한 이해와 의사소통을 가능하게 한다. 2. ERD 표기법은? * 주로 사용하는 IE Notation 표기법 3. ERD 예제 * 부서테이블과 사원테이블이 있다. * 부모테이블은 부서테이블 / 자식테이블은 사원테이블 * 하나의 부서에는 0이상의 사원을 가질 수 있다. * 사원은 하나의 부서를 갖고 있다. * 사원테이블이 부서테이블의 PK를 가지고 있지만, 이를 PK로 사용하지는 않는다.(비식별관계..

1. Maria DB란 MariaDB에서 만든 오픈소스 RDBMS 소프트웨어입니다. MySQL코드 기반으로한 오픈소스 RDBMS를 개발한 것이 지금의 MariaDB입니다. (*RDBMS란 관계형 데이터베이스를 생성하고 수정하고 관리할 수 있는 소프트웨어를 말한다.) MYSQL이 상업적으로 이용할 때 사용료를 내야하는데, 이렇게 고맙게도 오픈소스로 만들어주시다니 고마운 물개 🦭 2. Maria DB 특징은 1) MySQL 기반으로 만들어져서 SQL 명령문을 거의 그대로 사용가능하다. 2) MySQL에 비해 부분 속도가 약 4000~5000배나 빠르고, 성능도 최고 70% 향상을 보인다고 한다. 3) MySQL 엔터프라이즈에서 플러그인으로 제공한 스레드풀 기능이 내장됐으며, 스토리지 엔진을 활용한 샤딩 기술..

이상탐지 알고리즘에 대한 내용이 너무 방대하기도 하고, 다 공부하기엔 바쁘다바빠현대사회에 살고있는 나이기에 잘 정리설명을 하는 유튜브강의를 선택하였다! 역시나 좋은 강의 ! 🎥 유튜브강의 주소 https://youtu.be/xPA6JyHFHew 🪄1. 이상 탐지 알고리즘 개요 1. 이상탐지란? (위키백과) - 이상 탐지(anomaly detection)는 일반적인 값과 다른 특이한 값(outlier)나 드문 사건을 탐지하는 기법이다. - 침입, 사기, 결함, 건강 이상, 범죄 등 다양한 것을 탐지할 수 있다. 2. 이상탐지가 필요한 이유는? - 우리 삶에서 발생하는 비정상인 이상치 및 이를 탐지하는 일을 줄임으로써, 사회적 비용 절감과 문제해결을 위해서 필요하다! 🪄2. 이상 탐지의 종류 ; 논문까지 찾..

1월 4주차부터 시작한 빅데이터 플랫폼! 빅데이터 플랫폼이 자료를 수집하는 것부터 ~~~ 서비스시스템 만드는 것까지 광범위한 영역이다보니 다른 것보다 엄청엄청 많은 사전 지식이 필요했다....😥 그렇다보니, 강사님께서 내주시는 과제가 몽땅...! 과제 목록들 * 1/27 (목) 1. 분석tool Tensorflow, Keras, Pytorch 간단히 개념정리하기 2. 알고리즘 : 1) 사기탐지 - 이상탐지 알고리즘 2) 추천시스템 알고리즘 * 2/3 (목) 1. RDBMS : Maria DB, ERD 조사 및 ERD Tool, kibana(대시보드)/ grafana(대시보드, 플러그인, alert) 2. NoSQL : Mongo DB (인메모리 DB / 시계열 DB ??) 3. data pipeline:..

빅데이터 플랫폼 중간 점검! 😙 지금까지 배운 빅데이터 플랫폼 중간 점검해보자! 1. ELK STACK 구축하기 : Filebeat & Metricbeat & Packetbeat -> Logstash -> Elasticsearch -> Kibana 2. 다양한 data로 ELK pipeline 구축하기 1) CSV data 적용하여 ELK 구축하기 2) API data 적용하여 ELK 구축하기

✏️ 문제 링크 https://www.acmicpc.net/problem/15829 15829번: Hashing APC에 온 것을 환영한다. 만약 여러분이 학교에서 자료구조를 수강했다면 해시 함수에 대해 배웠을 것이다. 해시 함수란 임의의 길이의 입력을 받아서 고정된 길이의 출력을 내보내는 함수로 정 www.acmicpc.net ❌ 실패....ㅠㅠ 문제를 제대로 읽지 않고, 힌트만 봤던 탓에 딕셔너리에 {'a':1 } 형식 dic =dict() i= 97 num= 1 while i!=123: dic[chr(i)]=num i+=1 num+=1 #[2] 값 계산하여 결과 도출하기=========== t= int(input()) test= str(input()) result= 0 cnt= 0 for i in ..

🍰 공공데이터를 ELk에 넣는 방법은 ?? * 현재 Beat -> Logstash -> Elasticsearch -> Kibana 구축된 상태에서 공공데이터 오픈 api를 Logstash에 Pipeline을 추가하여 넣어준다. 🍰 설치 순서를 요약하자면 ?? : 공공데이터에서 url받은 후, logstash의 pipeline 따로 생성하여 엘라스틱서치로 보내기 1. 공공 데이터 사이트의 API 자료 확인하기 2. logstash에서 API .conf파일 만들기 3. logstash에서 pipeline 설정하기 4. logstash 다시 시작하기 5. Elasticsearch Index 확인 🍰 본격적으로 시작하기 👒 나의 경우는 CentOS7에서 root가 아니라 사용자계정으로 로그인을 했어서 su ro..