Spark cache(), 어디에 붙여야 효과가 있을까?
같은 DataFrame을 다시 사용해도 계산이 반복되는 이유부터, cache()를 붙일 위치와 비용까지 PySpark 예제로 이해해 본다.
Archive
글
개발 과정에서 얻은 지식과 경험을 기록합니다.
Archive
개발 과정에서 얻은 지식과 경험을 기록합니다.
같은 DataFrame을 다시 사용해도 계산이 반복되는 이유부터, cache()를 붙일 위치와 비용까지 PySpark 예제로 이해해 본다.