728x90

pyspark 2

[dockerfile] pyspark 파이썬 ver 설정하기

Pyspark의 파이썬 ver 설정하기 나의 파이썬의 버젼은 3.8.5로 설정하였지만, pyspark을 실행하면.......... ubuntu 18.04에서 지원하는 3.6.9 버젼으로 실행된다! 🤣 이유는 pyspark에서의 파이썬 ver을 설정하지 않았기 때문이다! 🪄 그래서 python 기본 ver값 설정을 해보자! 🪄 dockerfile에 한 줄만 추가해주면 된다. # Pysaprk 파이썬 기본값 설정 환경변수 추가해주기 ENV PYSPARK_PYTHON=python 위 코드식을 해석해보자면, python -V 명령어를 쳤을 때 나오는 파이썬ver.을 pyspark 파이썬 기본ver. '동일'하게 설정하겠다는 뜻이다. 쨔잔! 끝! 혹시나... ModuleNotFoundError: No module..

[dockerfile] ModuleNotFoundError: No module named 'py4j' & pyspark 환경변수 작성하기

py4j 오류 해결하기 먼저 -!! 🍭1) 우분투 18.04에서 기본 제공하는 python ver 3.6.9 말고 파이썬 기본값 ver을 3.8.5로 설정하였다! ( 즉, python -V 으로 확인했을 때 3.8.5로 나오는 걸 말한다!) * python 기본값 ver설정 방법이 궁금하다면 아래글 참고해주세요~ 2022.05.22 - [😆 Big Data/- Docker] - [Dockerfile] 우분투 18.04 & 파이썬 3.8 설치 & python 기본값 변경하기 🍭2) pyspark 파이썬 기본ver은 python과 같은 ver으로 설정했다, ModuleNotFoundError: No module named 'py4j 3.8.5로 설정해줬지만....... 아래와 같은 오류가!!!!! 뜨아.....

728x90