반응형 데이터엔지니어링 기초10 git 다운로드 git add, git commit 윈도우버전 코딩을 할 때 꼭 필요하다는 git계속 쓸려고 하는데 헷갈려서,,, 한 꺼번에 정리를 해보겠다 1. git을 설치해보자https://git-scm.com/book/ko/v2/%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0-Git-%EC%84%A4%EC%B9%98 Git - Git 설치이 책은 Git 2.0.0 버전을 기준으로 썼다. 대부분의 명령어는 그 이전 버전에서도 잘 동작하지만, 몇 가지 기능은 아예 없거나 미묘하게 다를 수 있다. Git의 하위 호환성은 정말 훌륭하기 때문에 2.0git-scm.com 2. git 이름등록git을 처음 쓴다면 이름 등록을 하기아무 폴더 우클릭 후 powershell창을 열고 이름 등록 진행git config --global user.emai.. 2024. 12. 26. 주피터 마크다운 정리 ( 제목, 글꼴, 목록, 링크, 코드, 구분선, 테이블, 체크박스 등) 1. #을 사용하여 제목을 작성# 제목 1## 제목 2### 제목 3#### 제목 4##### 제목 5###### 제목 6 쥬피터에서 창에 이렇게 입력하고m을 누르면 이렇게 되는 걸 볼 수 있다 2. 글꼴 스타일 굵게: **텍스트** 또는 __텍스트__기울임: *텍스트* 또는 _텍스트_취소선: ~~텍스트~~ **굵게***기울임*~~취소선~~ 3. 목록순서 없는 목록- 항목 1- 항목 2 - 하위 항목 1 - 하위 항목 2 #-, +, *를 사용 순서 있는 목록 : 숫자와 점(.)을 사용1. 첫 번째 항목2. 두 번째 항목 1. 하위 항목 1 2. 하위 항목 2 4. 링크[링크 텍스트](URL) 5. 코드 ```pythonprin.. 2024. 12. 24. gcp 인스턴스 생성 및 방화벽 생성하고 docker 및 airflow 설치하기 윈도우 버전 난 정말 제일 힘들었던 말하면 바로 docker와 airflow다블로그에 올린 것만 종류가 여러갠데전부 다 실패했다 -> 비용적인 문제와 메모리 문제 등등진짜 마지막으로 발견한게 gcp인데 드디어 내 노트북에 설정을 완료했다거의 3일내내 이거 오류 잡고 이해하는데 쏟아 부은 듯 하다 GCP 크레딧 생성1. GCP 란AWS 클라우드 서비스 중 하나로 간단하게 말하자면 GCP를 처음 가입하는 사람이라면 AWS보다 무료로 사용할 수 있는게 많은 서비스다 무료로 사용 가능한게 무려 41만원!!AWS 사용하다가 돈나오는게 열받는다면 GCP를 강력 추천하다 2. 새로운 프로젝트 생성Airflow라는 새로운 프로젝트를 생성준다 airflow 프로젝트로 변경도 설정 3. 인스턴스 만들기 이젠 인스턴스를.. 2024. 12. 18. 데이터 엔지니어링의 파이프라인 과정 (데이터 수집부터 시각화까지) 데이터엔지니어링의 이것저것 여러 개념을 배우면서어떤 순서로 작동하는 건지 헷갈리는 부분이 있어서지금가지 경험해온 걸 바탕으로 확실하게 정리를 하고 넘어갈까 한다 데이터 파이프라인 프로세스 1. 데이터 수집키워드: API, 데이터 추출, Open API, Kiwoom API데이터를 다양한 소스에서 추출하는 단계파일 기반 : CSV, Excel, JSON, XML 등의 정형 데이터 파일데이터베이스 : MySQL, PostgreSQL, MongoDB 기존에 저장된 데이터베이스에서 쿼리를 통해 데이터를 가져옴=> 3번의 데이터베이스가 따로 있지만 이미 저장 된 시스템에 저장된 데이터를 가져와야하는 경우데이터 수집 소스로 사용하는 경우도 있음 -> docker나 airflow는 데이터 수집 단계에서 계속.. 2024. 12. 9. 이전 1 2 3 다음 반응형
