Data Engineering 태그의 글

2026. 10. 20.

[Databricks] 데이터 리니지: 매출의 출처와 변경 영향을 추적하기 - 심화 2편

Unity Catalog의 테이블·컬럼 리니지로 매출 합계의 출처를 추적한다. 같은 Silver를 사용하는 매출·건수 집계를 비교하고, 컬럼 변경의 영향 범위와 수정할 SQL을 찾는다.

2026. 10. 16.

Unity Catalog의 사용자·그룹, USE CATALOG·USE SCHEMA·SELECT, 권한 상속과 소유권을 설명한다. 권한 부여·회수를 실습하고 REVOKE 후에도 조회되는 이유를 추적한다.

2026. 10. 16.

가상 고객 리뷰에 ai_analyze_sentiment, ai_extract, ai_summarize를 적용한다. 감정·상품명·지역·불만 사항·요약을 테이블에 저장하고 SQL로 조회한다.

2026. 10. 14.

Genie Agent로 판매 데이터를 질문한 뒤 뉴욕 택시 데이터로 전환한다. Genie Code로 운행 추이·히트맵·지역 순위와 파라미터를 갖춘 대시보드를 자동 구성한다.

2026. 10. 13.

Databricks AI/BI 대시보드에 Gold 테이블을 연결해 판매 금액·수량과 상품별 차트를 만든다. 상품 필터의 결과를 검산하고 게시 버전을 확인한다.

2026. 10. 12.

Delta History로 테이블의 변경 작업과 버전을 확인하고, Time Travel로 수정 전후 데이터를 조회한다. 두 기능의 차이와 이전 버전 조회의 보존 조건을 실습으로 살펴본다.

2026. 10. 12.

CSV 파일을 Unity Catalog Volume에 업로드하고 COPY INTO로 Bronze에 적재한다. 신규 파일의 정정·추가 내역을 MERGE로 반영하고 재실행 결과를 확인한다.

2026. 10. 12.

Bakehouse 판매 데이터에 신규·정정 내역을 MERGE로 반영하고, 같은 입력을 다시 처리해도 중복되지 않는지 확인한다. Silver 검증과 Gold 재집계를 Jobs로 연결한다.

2026. 10. 07.

Bakehouse 실습을 Lakeflow Jobs의 네 작업으로 연결한다. 품질 검사 실패 시 Gold 실행을 중단하고, 트리거와 스케줄을 설정해 매일 자동 실행한다.

2026. 10. 06.

Databricks Notebook에서 Bronze·Silver·Gold Delta 테이블을 만들고, 계층별 역할과 품질 확인·매출 집계·검산 과정을 살펴본다.

2026. 10. 02.

주문·클릭 데이터가 분석과 모델 개발에 쓰이는 흐름으로 Databricks의 기본 개념을 설명하고, 주요 구성 요소의 역할과 장점, Genie·AI Functions·모델 개발 기능으로 할 수 있는 일을 살펴본다.

2026. 09. 29.

1편의 주문상품 테이블과 상품팀 마트를 매일 갱신·복구하는 과정을 통해 데이터 플랫폼의 역할을 이해하고, 대표 제품 5개의 구성과 선택 기준을 비교한다.

2026. 09. 29.

쇼핑몰의 주문·클릭 데이터를 따라가며 데이터 웨어하우스, 레이크, 레이크하우스, 마트에 실제로 무엇을 저장하고 어떻게 조회·갱신하는지 살펴본다.

2026. 09. 21.

같은 DataFrame을 다시 사용해도 계산이 반복되는 이유부터, cache()를 붙일 위치와 비용까지 PySpark 예제로 이해해 본다.