728x90
사전교육 2일차!!
오늘은 빅데이터 분석을 위해 꼭!!!!!!필요한 환경을 구축하기 위한 강의가 시작되었다.
오전수업을 듣고 오후에 직접 설치 및 실습을 해보면서 데이터분석 보고서 작성이라는 과제가 주어졌는데...
일단 설치부터 너무 HELL 😡😡😡😡😡
네트워크 설정 넘나 어렵....
그래서 유튜브를 참고하면서 설치하니 한결 편 - 안
요거 보고 참고함 👇👇👇👇
https://www.youtube.com/watch?v=B4xSaITLn0A
✏ 오늘의 숙제 및 커리큘럼 ✏
💡숙제💡 설치 및 구축 / 보고서 작성하기
11. 중점
- 빅데이터 플랫폼
- CNCF: DevOps, MSA, 오케스트레이션
- 머신러닝/딥러닝 전반적인 내용
- 기타 기술요소들
12. 설치 및 구축하기
< 윈도우10 + virtualbox + cent os7 + elk >
1) 윈도우10 + virtualbox 설치 : kkensu.tistory.com/41
2) centos7설치
*참고: idjung.wordpress.com/2018/02/04/183/
- 이미지 파일은 dvd iso 파일 다운로드
- 파티션 부분은 표준파티션 선택
- 소프트웨어 선택은 gnome-desktop 을 선택
3) elk 설치
*참고: classicismist.blogspot.com/2020/01/centos7-elk-stack-filebeat-logstash.html
- 자바 버전 확인 -java -version을 1.8이상으로 설치
- oracle java-sdk 과 openjdk 중, 가능하면 openjdk
- logstash 설치 완료 후 cd/ etc/ logstash 하신 후에 cp logtsatsh-sample.comf cinf.d 하시면 복사
- kibana설치/filebeat설치
13. 서비스 디자인 개념
https://www.ncloud.com/product/aiService/ocr
https://kingname.tistory.com/205
- 웹 서비스 프레임워크: View.js, Angular.js, React.js, flask, django
- filebeat : 로그수집기, 경로는 /var/log/messages 파일을 logstash->elasticsearch로 전송/저장
- logstash에서 input,filter,output 플러그인함 -> input은 beat로 하고, output은 elasticsearch로 지정
- kibana에서 조회를 하시면 구축 완료
- virtualbox 설치시 요구사항: 2Processor, 8GB Memory, 100GB HDD
- 윈도우10 -> virtualbox 설치 -> centos7설치 -> elk 설치
- 완료후에 파이썬으로 elastic search의 데이터를 분석환경을 구축, 분석 진행
14. DevOps, MSA
MSA-쿠버네티스 기반의 MSA
배웠던 웹크롤링을 이용하여 csv를 만들고, 데이터 분석을 해보고 싶은데....
일단 설치부터 얼른 해보고 너무 시간이 오려걸리면
공공데이터 이용하여 작성할 주제를 다시 선정해봅시다...ㅠㅠㅠㅠ
오늘도 뽜이팅 😎
728x90
'😏 K디지털트레이닝(KDT)' 카테고리의 다른 글
| [사전교육] 4일차 - elk 구축하기 및 빅데이터의 전반적인 내용 (0) | 2021.12.23 |
|---|---|
| [사전교육] 3일차 - elastic stack 살펴보기, 데이터 수집 (0) | 2021.12.16 |
| [사전교육] 1일차 - 빅데이터 업무절차 & 전반적인 시스템 살펴보기 (0) | 2021.12.13 |
| 오미크론으로 인한 개강 연기.... 😥 (0) | 2021.12.12 |
| 한양대학교 (3회차) PBL 머신러닝 기반 빅데이터 분석가 양성과정 (1) | 2021.11.03 |