본문 바로가기

자동화 & 스케줄링/Airflow (Dag 생성 및 관리)9

CI / CD 기본개념 데이터엔지니어링 분야 공부하면서 계속 언급되는 ci /cd유튜브에서 괜찮은 강의를 찾아서 개념을 정리해보려고 한다 1. CI / CD 란? 개발 부터 배포까지 모든 단계를 자동화로 통해서 효율적으로 작업하는 것 CI : 지속적인 통합CD : 지속적인 배포 2. CI계속 메인 Repository에 merge되고 빌드되는 것 ( Bulid , Test )1) 코드 변경 사항을 주기적으로 빈번하게 머지해야한다 - 작은 단위로 나눠서 머지하는 것이 중요함 2) 통합을 위한 단계 (빌트, 테스트, 머지) 의 자동화main에서 변경사항을 merge를 하는데자동으로 CI 스크립트로 자동적으로 test가 잘되는지 확인 하는 기능-> 빨간불이 발생하면 만든 개발자에게 알람이 전달됨- 작은 단위의 문제를 해결할 수있음.. 2024. 12. 30.

anaconda 비쥬얼스튜디오코드 가상환경 설정방법 윈도우 가상환경은 처음에 나한테 너무 생소한 거였는데 데브코스 하면서 하도 가상환경을 열다보니 이제 익숙해진 개념이다 그치만 여전히 가상환경 연결이 쉽지 않은데 정말 좋은 링크를 발견했다 https://wikidocs.net/165200 03) 파이썬 가상환경[TOC] ## 가상환경 여러분이 앞서 윈도우에서 아나콘다 배보판 설치 페이지를 통해 파이썬을 설치하면 `C:\Anaconda3` 디렉토리에 파이썬이 설치됩니다. 참고로 경로…wikidocs.net이 분 블로그를 보면서 따라했다 https://www.anaconda.com/download Download Anaconda Distribution | AnacondaDownload Anaconda's open-source Distribution today... 2024. 11. 26.

docker 설치하고 airflow 설치하기 윈도우 이전 블로그들은 보면 ec2로 docker설치해보기 등등 램8기가와 aws를 비용으로 내지 않을려고 열심히 노력해봤다,,,나름 블로그 분들을 따라서 해봤지만 나홀로 이상한 오류가 나는 등,, airflow 사이트한버 열다가 하루종일 걸릴 것 같아서그냥 pc에 docker를 깔기로 했다결론부터 말하자면 docker설치하고 airflow 설치하는게 세상 너머ㅓㅓㅓㅓㅓ무 편하다 지금까지 내가 뭔 고생을 한건지 싶을 정도로,,정말 초간단,,나 저거 하는데 일주일 날린것 같은데,,노트북을 쓰지 말든지 해야지ㅣ,,,하하 window 기능 켜기 / 끄기 윈두우 검색 > windows 기능 켜기/끄기 > 리눅스용 하위시스템 클릭해서 재부팅한다 wsl 설치wsl --set-default-version 2먼저 w.. 2024. 11. 25.

Airflow의 Operator와 Decorators의 활용 및 Backfill 정의 PythonOperator 실행- Airflow DAG 내에서 실행할 작업이 Python 코드일 때, PythonOperator를 사용하여 Python 함수를 실행 할 수 있음- 데이터 처리, 모델 훈련, 웹 크롤링 등 다양한 Python 작업을 Airflow 워크플로우의 일부로 실행하려면 PythonOperator가 필요 from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetime# 각 업무를 처리하는 Python 함수 정의def task_1(): print("업무 1: 이메일 확인 및 답장 완료")def task_2(): print("업무 2: 회의 준비 완료").. 2024. 11. 25.

이전 1 2 3 다음

티스토리툴바