:::: 곰탱푸닷컴 ::::

Jar 형태로 패키징한 Spark Application을 Spark에 Submit 할 때 Livy를 사용하면 아주 편리하다. 환경 구축은 아래 문서를 참고한다. Livy Server 설치와 설정하기 Hadoop (+ YARN), Spark, Zeppelin의 설정을 마쳤으므로, Spark Job과 Application 제출을 위한 환경을 livy로 구성한다. Bigtop을 이용한 Ambari 설치와 설정 변경은 다음 포스팅을 참고한다. [Ambari 7] Ambari 설정과 Had www.bearpooh.com 그러나 Livy 서버의 기본 설정 만으로는 Jar 형태의 Spark Application을 실행하는데 아래와 같은 제약이 있다. 의존성 라이브러리 다운로드를 위한 내부 저장소 접근 불가 (프록시,..

sbt와 Scala 설치가 완료되면 sbt의 설정을 변경한다. sbt와 Scala 설치 방법은 아래 포스팅을 참고한다. sbt 1.9.0 버전과 Scala 2.12.18 설치하기 로컬의 Maven 저장소 설정이 마무리 되면, 개발하는 단말에 scala 개발 환경을 구성한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) S www.bearpooh.com 사용 환경에 따라 차이가 있으므로 필요한 부분만 골라서 설정한다. sbt의 기본적인 설정을 진행하는 부분과 자체 서명 인증서를 사용하기 위한 설정으로 구분한다. sbt 설정 변경 터미널에서 sbt를 사용하기 위한 설정을 적용한다. sbt 저장소 설정 ..

Ambari를 설치하면서 변경하는 설정 항목들을 정리한다. 설치 이후에도 변경 가능하지만 가급적 설치 단계에서 변경하면 번거로운 작업들을 상당히 줄일 수 있다. Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 www.bearpooh.com [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은..

mc (minio client)의 사용법을 정리한다. 파일 이동, 계정 관리, 정책 등 MinIO 서버와 관련된 다양한 설정을 위해 MinIO 클라이언트를 사용한다. 사용자가 minio client를 사용하는 방법은 다음 문서를 참고한다. MinIO | The complete guide to the MinIO client MinIO Client Complete Guide MinIO Client (mc) provides a modern alternative to UNIX commands like ls, cat, cp, mirror, diff etc. It supports filesystems and Amazon S3 compatible cloud storage service (AWS Signature v2..

Jenkins를 이용하여 빌드하고 Nexus에 배포하기 때문에 GitLab에서 제공하는 기본 DevOps 기능과 자체 CI/CD 기능은 사용하지 않는다. 따라서 해당 기능을 비활성화한다. GitLab의 설정 방법과 Git 사용 방법은 다음 포스팅을 참고한다. 시놀로지 NAS에서 Docker로 GitLab 설정하기 DSM 7.0으로 업데이트 되면서 기존에 사용하던 gitlab 패키지가 3rd-party라고 지원을 중단했다. 그래서 gitlab을 삭제하고 DSM 7.0으로 업데이트를 진행했다. GitLab을 새로 설치하기 위해 Docker를 이용한 www.bearpooh.com gitlab에서 group, project 생성하기 gitlab을 설치하는 과정은 이전 포스팅에서 진행했다. 시놀로지 NAS에서 G..