728x90
Pyspark의 파이썬 ver 설정하기
나의 파이썬의 버젼은 3.8.5로 설정하였지만,
pyspark을 실행하면.......... ubuntu 18.04에서 지원하는 3.6.9 버젼으로 실행된다! 🤣
이유는 pyspark에서의 파이썬 ver을 설정하지 않았기 때문이다!
🪄 그래서 python 기본 ver값 설정을 해보자!
🪄 dockerfile에 한 줄만 추가해주면 된다.
# Pysaprk 파이썬 기본값 설정 환경변수 추가해주기
ENV PYSPARK_PYTHON=python
위 코드식을 해석해보자면,
python -V 명령어를 쳤을 때 나오는 파이썬ver.을
pyspark 파이썬 기본ver. '동일'하게 설정하겠다는 뜻이다.
쨔잔! 끝!
혹시나... ModuleNotFoundError: No module named 'py4j
요런 에러가 생겼다?? 그럼 아래 글을 눌러보자!
728x90
'😆 Big Data > - Docker' 카테고리의 다른 글
| [dockerfile] ModuleNotFoundError: No module named 'py4j' & pyspark 환경변수 작성하기 (0) | 2022.05.23 |
|---|---|
| [docker command] docker 이미지 / 컨테이너 조건 삭제 명령어 (0) | 2022.05.23 |
| [Dockerfile] 우분투 18.04 & 파이썬 3.8 설치 & python 기본값 변경하기 (0) | 2022.05.22 |