반응형 데이터 파이프라인 구축15 AWS VPC 활용 및 실행 방법 AWS VPC (Virtual Private Cloud)란?AWS VPC(Virtual Private Cloud)는 AWS 클라우드 안에서 논리적으로 격리된 네트워크 환경을 제공하는 서비스입니다. 사용자는 자신의 네트워크 환경을 정의하고, 클라우드 리소스(예: EC2, RDS 등)를 안전하게 배포, 관리할 수 있습니다. VPC는 AWS 계정에서 기본적으로 생성되며, 사용자는 이를 커스터마이즈하여 네트워크 설정을 자유롭게 조정할 수 있습니다.AWS VPC의 주요 개념서브넷(Subnet)VPC 내에서 IP 주소 범위를 나누는 작은 네트워크 단위입니다.퍼블릭 서브넷: 인터넷에 접근할 수 있는 리소스를 배치.프라이빗 서브넷: 외부 인터넷 연결이 차단된 리소스를 배치.인터넷 게이트웨이(Internet Gatewa.. 2025. 1. 16. 메달리온 아키텍 Bronze layer Silver layer Gold layer 게임 레벨로만 들어봤던 용어를 data에서도 사용하는 걸 보고 신기해서 정리해보는 데이터엔지니어링 분들 사이에서 사용하는 용어 정리를 해본다 메달리온 아키텍쳐데이터 엔지니어링 및 데이터 레이크 설계에서 사용되는 아키텍처 패턴 중 하나로, 데이터 품질과 데이터 처리 단계를 명확히 정의하여 데이터 파이프라인의 가시성과 관리 효율성을 높이는 데 중점을 둔 방식이다 1. Bronze data, Silver data, Gold data 품질과 처리 수준에 따라 데이터 파이프라인의 단계를 명확히 구분하기 위해 사용한다데이터 파이프라인은 보통 데이터 레이크 (Data Lake)에서부터 시작되며, 데이터 품질 및 가공 수준에 따라 계층적 나뉜다이러한 계층 구조에서 데이터를 표현하기 위해 금속의 순도 등급에 비.. 2025. 1. 4. 데이터파이프라인 흐름 데이터레이크와 데이터웨어하우스의 비교 데이터 파이프라인의 흐름 데이터 수집 (Ingestion)데이터를 다양한 소스에서 가져옵니다.소스: IoT 센서, 트랜잭션 시스템, 소셜 미디어, 로그 파일 등도구: Apache Kafka, AWS Kinesis, Batch ETL 등실시간 스트리밍 또는 배치(batch) 방식으로 데이터를 처리합니다.데이터 저장 (Storage)데이터 레이크원본 데이터를 정제하지 않고 원시 형태 그대로 저장클라우드 기반 스토리지(AWS S3, Azure Data Lake 등)를 주로 사용데이터 웨어하우스구조화된 데이터 저장소: 데이터 웨어하우스는 정제된 데이터를 스키마 기반으로 저장하여 효율적인 질의와 분석을 지원BI 및 운영 분석: 데이터 웨어하우스는 대시보드, 리포트 생성, 실시간 운영 분석에 주로 사용주요 도구:.. 2025. 1. 3. 구글 api pytyhon 클라이언트 사용방법 Google Cloud Secret Manager Google-api-pyhton-clientsGoogle Calendar, Drive, Gmail 등과 같은 Google 서비스의 API를 활용할 수 있음 1. Google Cloud Console에서 OAuth 2.0 클라이언트 생성 1-1. API 키 생성https://toonovel.tistory.com/entry/youtube-api-%EB%B6%84%EC%84%9D-%EB%B0%8F-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8%EC%83%9D%EC%84%B1%EA%B3%BC-%EC%82%AC%EC%9A%A9%EC%9E%90-%EC%9D%B8%EC%A6%9D%EC%A0%95%EB%B3%B4-%EC%83%9D%EC%84%B1 youtube api 분석 및 프로젝트생성과 .. 2025. 1. 2. 이전 1 2 3 4 다음 반응형
