[Databricks] 데이터 리니지: 매출의 출처와 변경 영향을 추적하기 - 심화 2편
Unity Catalog의 테이블·컬럼 리니지로 매출 합계의 출처를 추적한다. 같은 Silver를 사용하는 매출·건수 집계를 비교하고, 컬럼 변경의 영향 범위와 수정할 SQL을 찾는다.
Archive
글
개발 과정에서 얻은 지식과 경험을 기록합니다.
[Databricks] Unity Catalog 권한 모델: GRANT·상속·소유권 이해하기 - 심화 1편
Unity Catalog의 사용자·그룹, USE CATALOG·USE SCHEMA·SELECT, 권한 상속과 소유권을 설명한다. 권한 부여·회수를 실습하고 REVOKE 후에도 조회되는 이유를 추적한다.
[Databricks] AI Functions로 고객 리뷰 분류·추출·요약하기 - 활용 3편
가상 고객 리뷰에 ai_analyze_sentiment, ai_extract, ai_summarize를 적용한다. 감정·상품명·지역·불만 사항·요약을 테이블에 저장하고 SQL로 조회한다.
[Databricks] Genie로 데이터 질문하고 대시보드 만들기 - 활용 2편
Genie Agent로 판매 데이터를 질문한 뒤 뉴욕 택시 데이터로 전환한다. Genie Code로 운행 추이·히트맵·지역 순위와 파라미터를 갖춘 대시보드를 자동 구성한다.
[Databricks] Gold 테이블로 BI 판매 대시보드 만들기 - 활용 1편
Databricks AI/BI 대시보드에 Gold 테이블을 연결해 판매 금액·수량과 상품별 차트를 만든다. 상품 필터의 결과를 검산하고 게시 버전을 확인한다.
[Databricks] Delta History와 Time Travel: 변경 이력과 이전 데이터 조회 - 6편
Delta History로 테이블의 변경 작업과 버전을 확인하고, Time Travel로 수정 전후 데이터를 조회한다. 두 기능의 차이와 이전 버전 조회의 보존 조건을 실습으로 살펴본다.
[Databricks] CSV 수집 실습: Volume에서 Bronze로 적재하기 - 5편
CSV 파일을 Unity Catalog Volume에 업로드하고 COPY INTO로 Bronze에 적재한다. 신규 파일의 정정·추가 내역을 MERGE로 반영하고 재실행 결과를 확인한다.
[Databricks] Delta Lake MERGE 실습: 신규·정정 데이터 반영하기 - 4편
Bakehouse 판매 데이터에 신규·정정 내역을 MERGE로 반영하고, 같은 입력을 다시 처리해도 중복되지 않는지 확인한다. Silver 검증과 Gold 재집계를 Jobs로 연결한다.
[Databricks] Lakeflow Jobs 실습: Bronze·Silver·Gold 작업 자동화하기 - 3편
Bakehouse 실습을 Lakeflow Jobs의 네 작업으로 연결한다. 품질 검사 실패 시 Gold 실행을 중단하고, 트리거와 스케줄을 설정해 매일 자동 실행한다.
[Databricks] 메달리온 아키텍처 실습: Bronze·Silver·Gold 테이블 만들기 - 2편
Databricks Notebook에서 Bronze·Silver·Gold Delta 테이블을 만들고, 계층별 역할과 품질 확인·매출 집계·검산 과정을 살펴본다.
[Databricks] 무엇을 하는 플랫폼이고, 어떤 장점이 있을까? - 1편
주문·클릭 데이터가 분석과 모델 개발에 쓰이는 흐름으로 Databricks의 기본 개념을 설명하고, 주요 구성 요소의 역할과 장점, Genie·AI Functions·모델 개발 기능으로 할 수 있는 일을 살펴본다.
[데이터플랫폼] 필요성과 대표 제품 5개의 선택 기준 - 2편
1편의 주문상품 테이블과 상품팀 마트를 매일 갱신·복구하는 과정을 통해 데이터 플랫폼의 역할을 이해하고, 대표 제품 5개의 구성과 선택 기준을 비교한다.
[데이터플랫폼] 웨어하우스·레이크·레이크하우스·마트의 차이 - 1편
쇼핑몰의 주문·클릭 데이터를 따라가며 데이터 웨어하우스, 레이크, 레이크하우스, 마트에 실제로 무엇을 저장하고 어떻게 조회·갱신하는지 살펴본다.
Cloudflare로 GitHub Pages 블로그에 조회수 붙이기 - 3편
Hugo에 조회수를 표시하고 중복 제한, 목록 일괄 조회와 캐시를 구현한다. Cloudflare Workers와 GitHub Pages 배포까지 연결한다.
Cloudflare로 GitHub Pages 블로그에 조회수 붙이기 - 2편
SQLite-backed Durable Object에 게시글별 조회수를 저장하고, 중복 집계 방지를 TypeScript로 구현한다.
Cloudflare로 GitHub Pages 블로그에 조회수 붙이기 - 1편
Cloudflare Workers·Durable Objects의 역할을 이해하고, TypeScript Worker 프로젝트를 생성한다.
Spark cache(), 어디에 붙여야 효과가 있을까?
같은 DataFrame을 다시 사용해도 계산이 반복되는 이유부터, cache()를 붙일 위치와 비용까지 PySpark 예제로 이해해 본다.