:::: 곰탱푸닷컴 ::::

MinIO WebUI의 사용법을 정리한다. 버킷과 데이터 관리, 계정 관리, 정책 등을 WebUI로 사용할 수 있어 상당히 편리하다. WebUI의 화면 구성이 상당히 직관적으로 되어 있다. 용어만 익숙해지면 사용하는데 큰 어려움은 없을 것으로 판단된다. Docker를 사용하여 MinIO를 설정하는 방법은 다음 포스팅을 참고한다. Docker로 MinIO 사용하기 MinIO는 AWS S3와 같은 오브젝트(객체) 스토리지 서비스를 오픈소스로 제공하는 인프라이다. AWS S3의 API와 호환되기 때문에 로컬에서 S3를 온프레미스 (On-premise) 형태로 사용하기 위해 구축하는 경우 www.bearpooh.com Dashboard 이해 Dashboard는 MinIO의 개략적인 운영 현황을 표현한다. Ger..

mongo-express는 기본적으로 http로 설정되어 있다. SSL (https)를 설정하기 위해서는 추가 설정이 필요하다. Docker를 사용하여 MongoDB와 mongo-express를 설정하는 방법은 다음 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 www.bearpooh.com 자체 서명 인증서를 생성하는 방법은 아래 포스팅을 참고한다. 자체 서명 인증서 만들기 Docker로 테스트하거나 실서비스 운영을 하다보면 HTTPS 접근 방법에 대한 고민을 하게 된다..

MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 가능 기본적으로 Key-Value 형태의 데이터 구조 데이터 형태에 따라 와이드 컬럼 (유연한 스키마), 그래프, 도큐먼트 등의 형태로 구분 이러한 특징은 기존 RDBMS에서 자료 구조의 변경이 빈번하거나, 처리하기 어려운 데이터를 처리하는데 장점으로 작용한다. RDBMS에 비해 Join 연산이 빠른 장점이 있지만, 데이터의 일관성은 RDBMS에 비해 떨어진다. 따라서 데이터의 일관성 유지가 중요한 데이터에는 사용하기 어렵다. MongoDB는 Document 형태의 데이터를 사용하는..

AirFlow의 Webserver에 SSL (HTTPS) 접속을 설정하는 방법이다. 자체 서명 인증서 생성은 아래 포스팅을 참고한다. 자체 서명 인증서 만들기 Docker로 테스트하거나 실서비스 운영을 하다보면 HTTPS 접근 방법에 대한 고민을 하게 된다. HTTPS를 사용하려면 공인 인증서 또는 사설 인증서를 적용해야 한다. 공인 인증서를 사용하는 방법은 크 www.bearpooh.com SSL 적용 관련 정보는 아래 기술 문서를 참고한다. Webserver SSL 적용 방법 Webserver — Airflow Documentation airflow.apache.org 웹서버 관련 환경 변수 Configuration Reference — Airflow Documentation airflow.apach..

Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ GitHub - https://www.github.com/bitnami/bitnami-docker-airflow AirFlow 소개와 구조에 대해서는 다음 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.be..

Apache에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. AirFlow 소개와 구조에 대해서는 다음 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.bearpooh.com Apache에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/apache/airflow GitHub - https://github.com/apache/airflow docker-compos..

데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apache에서 관리하기 때문에 Apache 라이선스를 따른다. Apache 라이선스도 BSD, MIT와 같이 코드 수정을 해도 공개 여부는 선택 가능하다. (할 일이 있을까 싶지만..) 단, 코드 수정 후 배포할 때 Apache 라이선스 고지가 포함되어야 한다. AirFlow는 Workflow를 정의하고 실행 가능한 플랫폼으로, 반복 된 작업을 자동화하기 위해 사용한다. EDA (Event Driven Architecture)로서 각 작업들은 DAG(Directed Acyclic Graph..

RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. 서비스가 커지거나 데이터가 많아지면 스케일업을 해야 한다. 그러나 실제로 Oracle의 경우 비용 증가가 확실히 부담 되기 때문에 PostgreSQL을 대안으로 전환하는 곳도 많아졌다. 또는 RDBMS 대신 하둡과 같은 빅데이터를 도입하는 경우도 많다. 데이터나 파일들은 MinIO나 하둡 같은 분산 시스템의 도입을 검토할 수 있다. 그러나 메타 정보나 인덱스 정보 같은 소규모 데이터는, 비용 대비 복잡성과 효율성을 비교하면 여전히 RDBMS로 운용하는 것이 적합하다. 오픈소스 데이터베이스 소개 개인이나 소규모 ..

MinIO는 AWS S3와 같은 오브젝트(객체) 스토리지 서비스를 오픈소스로 제공하는 인프라이다. AWS S3의 API와 호환되기 때문에 로컬에서 S3를 온프레미스 (On-premise) 형태로 사용하기 위해 구축하는 경우가 많다. 또는 AWS S3와 용어가 거의 동일하기 때문에, AWS S3를 사용하기 전에 숙달하는 목적으로 사용하기도 한다. GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/minio/minio/ GitHub - https://github.com/minio/minio 원래 Apache V2 라이선스였는데, 2021년 5월 AGPL (Affero General Public License) v3.0 으로 변경되었다. ..

Docker로 테스트하거나 실서비스 운영을 하다보면 HTTPS 접근 방법에 대한 고민을 하게 된다. HTTPS를 사용하려면 공인 인증서 또는 사설 인증서를 적용해야 한다. 공인 인증서를 사용하는 방법은 크게 두 가지이다. 하나는 공인 인증기관을 통해 발급한 인증서를 적용하는 것이고, 다른 하나는 무료 공인 인증서인 Let's Encrypt를 사용하는 것이다. 공인 인증 기관에서 발급 받는 인증서는 가장 교과서적인 방법이지만 비싸서 개인이 운영하기에는 부담이 된다. 물론 회사에서 운영하는 서비스는 회사 비용을 사용해서 공인 인증서를 발급 받는 것을 권장한다. 개인의 경우 무료로 제공하는 공인 인증서인 Let's Enrypt를 사용하는 방법이 있다. 90일 마다 갱신해야 하므로 번거롭다는 단점이 존재하며, ..