반응형 ETL3 AWS Glue Job(글루 잡) 사용해보기 aws 신기한 것,, ETL을 이렇게 쉽게 할 수 있다비용만 안비싸면 자주 사용해보고 싶다 AWS GLUE 사이트https://ap-northeast-2.console.aws.amazon.com/gluestudio/home?region=ap-northeast-2#/jobs https://ap-northeast-2.console.aws.amazon.com/gluestudio/home?region=ap-northeast-2#/jobs ap-northeast-2.console.aws.amazon.com AWS glue 개념https://toonovel.tistory.com/entry/AWS-glue%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94-%EC%9D%B4%.. 2025. 1. 12. 데이터 파이프라인(ETL/ELT) 과 AirFlow DAG의 구조 및 개념 이번에는 데이터파이프라인(ETL/ELT)을 알아보고 Airflow를 적용하는 방법에 대해 알아볼 거다 데이터 레이크와 웨어하웃 ETL과 ELT에 대한 개념은 아래 링크 참고 데이터 흐름과정 서비스에서 생기는 직접 데이터 & 써드파티에서 생기는 간접 데이터 => 데이터 적제 (ETL) => 데이터 인프라( 전용 데이터 모음집 = 데이터웨어하우스) => 데이터 분석 => 데이터 과학 적용(경험 개선) 외부에 있는 데이터를 코드로 작성해서 데이터 웨어하우스로 가져오는 작업 -> 대표적인 프레임워크가 AIRFLOWAirflow에선 데이터 적제를 DAG라고 말함 데이터웨어하우스의 구성 데이터 소스(mysql emd) => ETL 적용(데이엔지니어링 하는 일) => 데이터웨어하우스에 담기 => 좀 더.. 2024. 11. 18. 데이터 웨어하우스 VS 데이터 레이크 / ETL VS ELT 데이터웨어하우스는 기본적으로 클라우드가 대세임고정비용 옵션과 가변비용 옵션 데이터 레이크 - 구조화된 데이터 + 비구조화된 레이크- 원본 그대로 저장하는 스토리지 - 데이터 웨어하우스보다 몇배는 더 큰 스토리지 - 가격이 저렴함 - ELT 사용 예시 도구 : AWS S3 / Azure Data Lake / Google Cloud Storage / Hadoop HDFS 데이터 웨어하우스 - 구조화된 데이터를 저장하는 중앙 저장소- 미리 정의된 스키마에 따라 정제 및 조직화- 가격이 비쌈 ( 필요한 정보만 저장하고 처리 )- 보통 bi 툴들은 데이터 웨어하우스를 백엔드로 사용- ETL 사용 예시 도구: Amazon Redshife / Google BigQuery / Snowflake / .. 2024. 11. 17. 이전 1 다음 반응형
