docker 설치하고 airflow 설치하기 윈도우

이전 블로그들은 보면 ec2로 docker설치해보기 등등 램8기가와 aws를 비용으로 내지 않을려고 열심히 노력해봤다,,,

나름 블로그 분들을 따라서 해봤지만 나홀로 이상한 오류가 나는 등,, airflow 사이트한버 열다가 하루종일 걸릴 것 같아서

그냥 pc에 docker를 깔기로 했다

결론부터 말하자면 docker설치하고 airflow 설치하는게 세상 너머ㅓㅓㅓㅓㅓ무 편하다 

지금까지 내가 뭔 고생을 한건지 싶을 정도로,,정말 초간단,,나 저거 하는데 일주일 날린것 같은데,,

노트북을 쓰지 말든지 해야지ㅣ,,,하하

 

 

 

window 기능 켜기 / 끄기

 

윈두우 검색 > windows 기능 켜기/끄기 > 리눅스용 하위시스템 클릭해서 재부팅한다

 

 

 

 

wsl 설치

wsl --set-default-version 2

먼저 wsl를 설치해야한다

 

 

docker desktop 설치

https://docs.docker.com/desktop/setup/install/windows-install/

Windows

여기에 들어가서 윈도우 버전으로 설치 틀릭

 

 

 

 

docker --version

설치 완료가 되면 버전 확인을 해서 성공적으로 설치 된건지 확인한다

 

 

docker run hello-world

혹시나 싶으면 docker에서 hello-world를 실행해본다

 

sudo apt-get install docker-compose

docker-compose는 여러 docker 컨테이너를 관리한느 도구로

매번 수동으로 실행할 필요 없이 자동으로 실행되게 한다

 

 

 

 

 

---

 

 

 

airflow 설치

 

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Running Airflow in Docker — Airflow Documentation

뭐든 설치할려고 한다면 공식 사이트를 들어가야한다고 한다 

 

 

 

git clone https://github.com/apache/airflow.git
cd airflow

airflow github 레포지토리를 클론한다

 

 

이제 필요한 필수 환변수 설정을 하는데

airflow 디렉토리내에 .env파일을 생성할거다

맥이면 초간단이지만,,, 윈도우면 빙빙 돌아가야한다

mkdir C:\Users\<사용자명>\airflow

airflow 디렉토리를 만들고 

 

cd C:\Users\<사용자명>\airflow

해당 디렉토리로 들어간다

 

 

echo AIRFLOW_HOME=~/airflow > .env

그 다음 .env파일을 생성하면 끝이다

 

 

 

---

 

 

이제 기본적인 airflow 환경설정은 끝나고 이제 실행을 해보자 

 

 

docker-compose up airflow-init

airflow 초기화를 진행하고

 

 

docker-compose up

airflow를 실행한 상태로 http://localhost:8080 이 링크에 들어가면 웹ui가 보이게 된다

 

기본 로그인 정보는 사용자명: airflow / 비밀번호 : airflow 이다 

 

 

 

아주 잘 돌아가는걸 볼 수 있다 

다음 블로그에선 dag를 만들어보겠다