트랜잭션 : 특정 작업을 하나의 작업 단위로 처리하는 방식
에러가 발생할 때 감춰지는 것보다는 명확하게 드러나는 것이 더 좋음 : raise 활용
docker 설치
airflow를 설치하려면 docker를 설치해아한다
근데 이전에 docker설치에 실패했던 이유에 대해서 작성한 적이 있다
그래서 발견한 새로운 방법 ec2에 docker를 설치하는 것
키 페어는 빌린 컴퓨터로 접속할 때 보안상 안전하게 해주는 거라고 하는데 난 혼자 가지고 놀고 끝낼거기 때문에 따로 설정하지 않았다
만약 따로 배포할 생각이라면 키페어를 생성하는 게 좋다
네트워크 설정은 외부ip 그대로 할당 받고 0.0.0.0/0은 모든 ip에서 ssh 접속을 할 수 있게 해준다
스토리지는 .EC2 내부의 저장공간 크기 이다
그냥 기본 8GB 스토리지를 선택했다
이렇게 ec2가 생성 되었다
이제 인스턴스의 연결 버튼 클릭
EC2 Instance Connect을 사용하여 연결 로 shell에 접속하자
그러면 이렇게 연결 창이 뜬다 이제 여기서 코드를 작성해주면 된다
sudo apt update
sudo apt install docker.io
sudo apt install docker-compose
위에 문장 잘 따라하다가
뭔지 모를 에러... command가 없댄다
이제는 뭔지 모르겠다,,,참고한 블로거분은 없다,,
이럴 땐 챗이지
sudo apt update
sudo apt install gnupg
-> chat 쌤이 apt를 수동으로 설치하란다
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
-> 다음 공식 gpt를 설치하라고 하는데
또 command not found란다,,,ㄷㄷㄷㄷ
보니까 apt-repositoty가 설치가 안된것 같다
sudo apt update
sudo apt install -y software-properties-common
두개를 또 설치하고
sudo add-apt-repository \
"deb [arch=$(dpkg --print-architecture)] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) stable"
다시 apt 저장소에 추가해주니까
아주 잘 돌아간다
이제 마지막으로 docker문장만 돌려주면
sudo apt-get install docker-ce docker-ce-cli containerd.io
드디어 docker가 설치되었다,,오열할 뻔
chat 덕분에 해결했다
이제 docker compose를 설치해보겠다
#. Docker Compose 바이너리 다운로드
sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
#실행 권한 추가
sudo chmod +x /usr/local/bin/docker-compose
#설치 확인
docker-compose --version
위에 코드를 순서대로 하나씩 작성해서 돌리면 된다
최종으로 이렇게 docker 버전이 나오면 성공이다
추가로 ec2는 복사 붙여넣기가 insert를 사용한다
ctrl + insert / shift + insert
docker 다 설치할 때 일일이 치고 있었던 나란 인간,,ㅎㅎ
[참고 블로그]
https://jongsky.tistory.com/49
'파이프라인 자동화 및 스케줄링 > Airflow (Dag 생성 및 관리)' 카테고리의 다른 글
docker 설치하고 airflow 설치하기 윈도우 (1) | 2024.11.25 |
---|---|
Airflow의 Operator와 Decorators의 활용 및 Backfill 정의 (0) | 2024.11.25 |
키움 open api에서 데이터 가지고 오기 (3) | 2024.11.22 |
docker 설치 후 airflow 설치하기 윈도우 (1) | 2024.11.21 |
airflow ec2로 설치 터미널 가상환경 열어서 설치 / sudo의 사용이유 (1) | 2024.11.19 |