:::: 곰탱푸닷컴 ::::

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 정의, 프로젝트 생성, DAG 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한 www.bearpooh.com 기능 코드는 항목이 많아서 나눠서 정리한다. config.yml, srtest.py, email..

Apache에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. AirFlow 소개와 구조에 대해서는 다음 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.bearpooh.com Apache에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/apache/airflow GitHub - https://github.com/apache/airflow docker-compos..

데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apache에서 관리하기 때문에 Apache 라이선스를 따른다. Apache 라이선스도 BSD, MIT와 같이 코드 수정을 해도 공개 여부는 선택 가능하다. (할 일이 있을까 싶지만..) 단, 코드 수정 후 배포할 때 Apache 라이선스 고지가 포함되어야 한다. AirFlow는 Workflow를 정의하고 실행 가능한 플랫폼으로, 반복 된 작업을 자동화하기 위해 사용한다. EDA (Event Driven Architecture)로서 각 작업들은 DAG(Directed Acyclic Graph..