코딩하는 간호사

Pyspark의 파이썬 ver 설정하기 나의 파이썬의 버젼은 3.8.5로 설정하였지만, pyspark을 실행하면.......... ubuntu 18.04에서 지원하는 3.6.9 버젼으로 실행된다! 🤣 이유는 pyspark에서의 파이썬 ver을 설정하지 않았기 때문이다! 🪄 그래서 python 기본 ver값 설정을 해보자! 🪄 dockerfile에 한 줄만 추가해주면 된다. # Pysaprk 파이썬 기본값 설정 환경변수 추가해주기 ENV PYSPARK_PYTHON=python 위 코드식을 해석해보자면, python -V 명령어를 쳤을 때 나오는 파이썬ver.을 pyspark 파이썬 기본ver. '동일'하게 설정하겠다는 뜻이다. 쨔잔! 끝! 혹시나... ModuleNotFoundError: No module..

SyntaxError: 'ascii' codec can't encode character pyspark에서 특수문자를 사용할 경우, 위와 같은 에러가 발생한다. 그리고 csv 내용 중 특수기호가 포함되어있을 경우 df.show( )를 한다면 또 위와 같은 에러가 발생한다. csv를 불러올 때 encoding 옵션을 설정해서 df를 지정해줘도 오류가 발생한다. 여기서 해결방법은?? 간단하다! 도커파일에 파이썬 encoding 환경변수 설정 한줄만 추가하면 된다. # 파이썬 인코딩 환경변수 설정하기 ENV PYTHONENCODING=utf8 쨔잔! program 열 내용중에 하트가 있어도 잘 불러온다! 💜