728x90

😆 Big Data 70

[ML] 🤸 5. 피처 엔지니어링 (Feature Engineering)

🤸 피처 엔지니어링 (Feature Engineering) 🤸 1. 탐색적 자료분석 (EDA) *참고 사이트 : https://www.itl.nist.gov/div898/handbook/eda/section1/eda1.htm 1) 정의 - 탐색적 자료분석(Explorary Data Analysis, EDA)는 데이터의 특징과 내재하는 구조적 관계를 알아내기 위한 기법 🔍What is EDA ? 1. maximize insight into a data set; (데이터셋에 대한 통찰력 최대화) 2. uncover underlying structure; (근본적 구조 파악) 3. extract important variables; (중요한 변수 추출) 4. detect outliers and anomalie..

[ML] 🤸 4. 머신러닝 알고리즘 평가

🤸 머신러닝 알고리즘 평가 🤸 1. Bias / Error 1) Bias * Fitting: 실제값을 지나는 여러 개의 곡선이 존재 * 검증용 데이터를 고려한다면? Goodness of Fit 2) Error ① 과대적합(Overfitting): 모델이 훈련 데이터에 너무 잘 맞지만 일반성이 떨어질 때 발생 - 과대적합 해결방법: 훈련데이터를 더 많이 모은다. / 정규화시킨다. / 훈련데이터 잡음을 줄인다. ② 과소적합(Underfitting): 모델이 너무 단순해서 데이터의 내재된 구조를 학습하지 못할 때 발생 - 과소적합 해결방법: 파라미터가 더 많은 복잡한 모델을 선택한다. / 모델의 제약을 줄인다(=규제 하이퍼파라미터 값 줄인다.) / 과대적합 되기 전의 시점까지 충분히 학습한다. - 하이퍼파라미..

[ML] 🤸 3. 머신러닝 알고리즘

🤸 머신러닝 알고리즘 🤸 1. 인공신경망 주요 변천사 통계 (Statisticians) >> 기호기반 (Symbolists) >> 연결기반 (Connectionists) >> 유추기반 (Analogizers) >> 베이지안 (Bayesians) >> 진화기반 (Evolutionaries) >> 앙상블기반 (Ensembles) 2. 머신러닝 알고리즘 1) 통계 (Statisticians) : Parametric - Semi-parametric - Nonparametric : 인간의 지능과 두뇌 구조에 대한 고찰보다, 문제를 어떻게 통계적으로 풀어내는가에 더 관심을 가진다. * 설명변수와 반응변수에 따라 case 구분하기 * Case Ⅰ: Categorical Data Analysis 방법론 (예: 동질성 ..

[ML] 🤸 2. 머신러닝 데이터의 유형

🤸 머신러닝 데이터의 유형 🤸 1. 데이터 수집과 정의 - 각자 모형화를 진행하기 위해 데이터를 수집하는 부분을 담당한다고 가정 Q. 해당분석의 도메인에 대해 조사하고 분석의 중요성(또는 목표)에 대해 설명해 보시오 Q. 분석에 필요한 데이터를 어떻게 정의하면 좋을지 조사하시오 Q. 어떤 데이터가 수집될 수 있는지 예시를 작성하시오 2. 데이터 분류 1) 데이터 가공 정도별 ① 1차 자료: 원시자료 - 측정 데이터, 조사 데이터 ② 2차 자료: 가공자료 - 국가통계, 집계 데이터, 전망정보 2) 데이터 유형별 ① 정형 자료: 유형을 정의하여 분석에 활용가능 (수치형, 문자형) ② 비정형 자료: 정형화를 위한 별도의 가공이나 기준이 필요한자료들 (기록, 일지 등) 3) 데이터 표시 형식별 ① 연속형(con..

[ML] 🤸 1. 머신러닝의 개요

🤸 머신러닝 개요 🤸 1. 머신러닝의 정의 - 인공지능의 한 분야로, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야 - 표현과 일반화에 중점을 두어서, 기본적으로 알고리즘을 이용해 데이버를 분석하고, 분석을 통한 학습, 학습을 기반으로 한 판단이나 예측이라고 할 수 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 2. AI(인공지능) 정의 및 구현방법 1) AI(인공지능)의 정의 - 인공지능이란 컴퓨터가 인간의 행동을 모방할 수 있게 하는 모든 기술 2) AI(인공지능)의 구현방법 ① 합리주의: 특정분야의 전문가나 장인들이 학문을 연구하거나, 오랜 실무경험으로 터득한 지식을 사람이 직접 컴퓨터에 제공함. 하향식접근, 지식공학적 접근. 지식의 근원은..

[java] 자바(jdk) 1.8.0 설치하기

자바 (jdk) 1.8.0 설치하기 1. 자바가 설치 되어있는지 확인한다! # 자바설치 유무 및 버전 확인 java -version * 자바 설치가 안되어있으면 아래처럼 뜬다! 2. 자바 jdk를 설치한다. sudo apt install openjdk-8-jdk ⏬ 3. 설치 확인하기 : 버젼이 잘 확인이 된다면 java 명령어를 쓸수 있다는 것을 알 수 있고, 나온 결과를 통해 버젼을 알 수 있다. java -version

[Ubuntu] Ubuntu 화면 크게 만드는 게스트 확장 설치 (마우스이동, 복사 붙여넣기도 가능해짐)

🍐 게스트 확장 설치를 하게 되면 ?? 게스트 확장을 하게되면 화면 창도 크게할 수 있을 뿐만아니라 Ubuntu에서 마우스도 호스트키 없이 빠져나올수도 있고 클립보드도 공유해서 복사붙여넣기도 가능하다😊 🍐 설치 순서를 요약하자면 ?? 1. 명령창에 sudo apt install gcc make perl 입력 2. [장치] -> [게스트 확장 CD 이미지 삽입] 클릭 3. VBox_GAs 설치 팝업창이 뜨면 설치 진행을 위해 Run 클릭 --> root가 아닌 계정이라면 비번 입력 4. 다시시작(리부트) 하기 5. 이제 [화면] -> 원하는 해상도 선택 🍐 본격적으로 시작하기 1. 명령창에 sudo apt install gcc make perl 입력 1) 코드식 입력 sudo apt install gcc ..

[Ubuntu] 우분투 root 초기 비밀번호 설정하기 (맨 처음엔 원래 없어요~🙂)

우분투 root 초기 비밀번호 설정하기 맨 처음엔 root 비밀번호가 원래 없어요~🙂 당황하지 말고 아래처럼 따라해보세요 ! (* 현재 우분투 18.04.6 버전으로 설치한 상태입니다!) 1. 먼저 우분투 설치할 때 만든 계정에 로그인한다! ⏬ 2. root 비밀번호를 설치하는 명령어를 입력한다. # 커맨드 창을 열어 아래 명령어를 입력합니다 :-) sudo passwd root 3. 명령어 창에 알림메시지에 맞춰 비밀번호를 입력해준다. 첫째, ' [sudo] password for 로그인한계정 : ' 메시지가 뜨면 현재 로그인한 계정의 비밀번호를 입력한다. 둘째, ' Enter new UNIX password : ' 메시지가 뜨면 설정하려는 root 비밀번호를 입력한다. 셋째, ' Retype new ..

[ELK] ⚒️12.2/3장 리눅스 엘라스틱서치 & 키바나 설치 (Ubuntu)

12.2장 리눅스 엘라스틱서치설치 / 12.3장 리눅스 키바나 설치 현재 설치 ver: VM VirtualBox 6.1.32 / Ubuntu 18.04.6 설치예정 ver: Elasticsearch와 Kibana 7.10.1 예전에 해보지 않았던 방법으로 다양하게 엘라스틱 스택을 설치해보려한다. 리눅스 레드햇 계열 CentOS에서 rpm 리눅스 패키지로도 설치해보고, wget으로도 설치해봤으니 이번엔 리눅스 데비안 계열 Ubuntu에서 deb 리눅스패키지로 설치해보려한다! ⚒️12.2 리눅스 엘라스틱서치 설치 - 리눅스 패키지 이용하기 : 리눅스 패키지는 레드햇 계열 리눅스(CentOS)에는 rpm / 데비안 계열 리눅스(Ubuntu)에는 deb 파일을 각각 지원한다. 장점 리눅스 기본 디렉토리 구조에 ..

[ELK] 📝1장 엘라스틱 스택(Elastic Stack)이란

1장 엘라스틱 스택(Elastic Stack)이란 - 검색 엔진을 넘어서 빅데이터 플랫폼으로 ! 엘라스틱 스택은 개인적으로 아쥬심플섹시한 플랫폼이라고 생각한다. 그 이유인즉슨 내가 사고싶은 것이 많이 있을 때, 각각의 물건이 최고인 것을 여기저기(A,B,C마트...)에서 따로 구하기보다는 A마트에서 전체를 구매할 때, B마트에서 전체를 구매할 때, C마트에서 전체를 구매할 때 이렇게 비교를 하고 물건 구매를 한다. 즉 ONE-STOP, ALL-ONE 이런 걸 좋아한다 ㅎ ===> 그래서 정해진 것이 엘라스틱 스택! 목차 1.1 엘라스틱 서치의 탄생 1.2 엘라스틱 스택으로 발전 1.3 엘라스틱 스택의 구성요소 1.4 엘라스틱 스택의 용도 1.5 빅데이터 플랫폼의 일부로 동작하는 엘라스틱 스택 1.6 유사..

728x90