반응형 데이터웨어하우스와데이터레이크1 데이터파이프라인 흐름 데이터레이크와 데이터웨어하우스의 비교 데이터 파이프라인의 흐름 데이터 수집 (Ingestion)데이터를 다양한 소스에서 가져옵니다.소스: IoT 센서, 트랜잭션 시스템, 소셜 미디어, 로그 파일 등도구: Apache Kafka, AWS Kinesis, Batch ETL 등실시간 스트리밍 또는 배치(batch) 방식으로 데이터를 처리합니다.데이터 저장 (Storage)데이터 레이크원본 데이터를 정제하지 않고 원시 형태 그대로 저장클라우드 기반 스토리지(AWS S3, Azure Data Lake 등)를 주로 사용데이터 웨어하우스구조화된 데이터 저장소: 데이터 웨어하우스는 정제된 데이터를 스키마 기반으로 저장하여 효율적인 질의와 분석을 지원BI 및 운영 분석: 데이터 웨어하우스는 대시보드, 리포트 생성, 실시간 운영 분석에 주로 사용주요 도구:.. 2025. 1. 3. 이전 1 다음 반응형
