[Databricks] Delta History와 Time Travel: 변경 이력과 이전 데이터 조회 - 6편
Delta History로 테이블의 변경 작업과 버전을 확인하고, Time Travel로 수정 전후 데이터를 조회한다. 두 기능의 차이와 이전 버전 조회의 보존 조건을 실습으로 살펴본다.
Topic
#PySpark
이 주제와 관련된 글 5개입니다.
[Databricks] CSV 수집 실습: Volume에서 Bronze로 적재하기 - 5편
CSV 파일을 Unity Catalog Volume에 업로드하고 COPY INTO로 Bronze에 적재한다. 신규 파일의 정정·추가 내역을 MERGE로 반영하고 재실행 결과를 확인한다.
[Databricks] Delta Lake MERGE 실습: 신규·정정 데이터 반영하기 - 4편
Bakehouse 판매 데이터에 신규·정정 내역을 MERGE로 반영하고, 같은 입력을 다시 처리해도 중복되지 않는지 확인한다. Silver 검증과 Gold 재집계를 Jobs로 연결한다.
[Databricks] Lakeflow Jobs 실습: Bronze·Silver·Gold 작업 자동화하기 - 3편
Bakehouse 실습을 Lakeflow Jobs의 네 작업으로 연결한다. 품질 검사 실패 시 Gold 실행을 중단하고, 트리거와 스케줄을 설정해 매일 자동 실행한다.
Spark cache(), 어디에 붙여야 효과가 있을까?
같은 DataFrame을 다시 사용해도 계산이 반복되는 이유부터, cache()를 붙일 위치와 비용까지 PySpark 예제로 이해해 본다.