:::: 곰탱푸닷컴 ::::

Jar 형태로 패키징한 Spark Application을 Spark에 Submit 할 때 Livy를 사용하면 아주 편리하다. 환경 구축은 아래 문서를 참고한다. Livy Server 설치와 설정하기 Hadoop (+ YARN), Spark, Zeppelin의 설정을 마쳤으므로, Spark Job과 Application 제출을 위한 환경을 livy로 구성한다. Bigtop을 이용한 Ambari 설치와 설정 변경은 다음 포스팅을 참고한다. [Ambari 7] Ambari 설정과 Had www.bearpooh.com 그러나 Livy 서버의 기본 설정 만으로는 Jar 형태의 Spark Application을 실행하는데 아래와 같은 제약이 있다. 의존성 라이브러리 다운로드를 위한 내부 저장소 접근 불가 (프록시,..

Nexus에 Maven 저장소를 설정하고 사용하는 경우 인증서 오류가 발생하는 경우가 존재한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com 인증서 오류는 대부분 자체 서명 인증서를 사용하는 경우로 한정된다. Let's Encrypt 같은 무료 인증서를 사용하면서 오류가 발생하는 경우에도 참고한다. Nexus 서버에 자체 서명 인증서를 사용하는 경우 개..

Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 같이 구분하여 배포한다. 개발 중 버전 - 1.0.0.1-SNAPSHOT 버전을 snapshots 저장소에 배포 개발 완료 버전 - 1.0.0.1 버전을 releases 저장소에 배포 개발 산출물은 사설 저장소에 배포할 예정이므로 Nexus에 Maven 사설 저장소를 구축한다. Scala 기반 어플리케이션은 sbt (simple build tool)를 사용하여 빌드한다. 생성한 저장소 주소는 sbt 저장소 주소 설정에 사용하며 자세한 방법은 다음 포스팅 (문서)을 참고한다. 내부망에서 사..

Ambari의 경우 설치하는 방법은 크게 세가지로 분류할 수 있다. Apache Ambari 소스코드 직접 빌드 Apache Bigtop 이용 (gradle) 이미 빌드 된 바이너리로 설치 Apache Bigtop을 이용한 빌드 방법은 아래 포스팅을 참고한다. [Ambari 5] Bigtop 설치와 Ambari 빌드 가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. C www.bearpooh.com Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 Ce..

2021년 10월 1일부터 사설 저장소를 이용한 우분투의 APT 설치 과정에서 오류가 발생했다. 사설 저장소는 Synology NAS에 NEXUS를 설치하고 Let's Encrypt 인증서를 적용하여 사용 중이다. APT 패키지를 설치할 때 나타나는 Nexus 인증서 오류 증상은 다음과 같다. Certificate verification failed: The certificate is NOT Trusted. 메시지가 출력된다. 그 다음 메시지가 중요한데 The certificate chain uses expires cerificate. 라고 출력되며, 인증서에 적용 된 타기관 서명이 유효하지 않다는 것을 의미한다. 일반적으로 인증서는 신뢰성을 보증하는 제3기관 또는 상위 기관의 인증서의 서명이 포함되어 ..

Visual Studio에서 빌드를 하면 EXE 또는 DLL 파일이 생성된다. EXE 파일의 경우 바로 사용 가능하기 때문에 배포해야 하는데 방법은 여러가지가 있다. FTP 서버를 사용한다. 웹서버를 사용한다. 사설 저장소를 사용한다. 이미 Nexus를 구축하고 PyPi, Docker, APT, Conda 사설 저장소로 사용하고 있으므로, 생성한 EXE 파일도 Nexus로 배포하기로 했다. 생성하는 방법은 다른 저장소 생성 방법과 거의 동일하다. 저장소 타입이 Raw인 것만 다르다. PyPi 저장소 생성 방법은 다음 포스팅을 참고한다. Nexus3를 이용한 PyPi 사설 저장소 구축 Nexus3를 이용한 PyPi 사설 저장소 구축은 3개의 저장소가 필요하다. hosted (Local) - 내부에서 작성한..

예전 포스팅에서 시놀로지 NAS에 Docker를 이용하여 Nexus를 구축하고, Docker 사설 저장소 구축까지 완료했다. 이 정도만 설정해도 사설 저장소를 통한 Docker 이미지를 일반적인 개발 PC나 서버에서 사용 가능하다. 그렇다면 시놀로지 NAS에서도 사용할 수 있을까? 결론은 가능하다. 삽질을 여러번 하긴 했지만 생각보다 간단하다. 이번 포스팅은 자체적으로 생성하여 Nexus에 구성한 사설 저장소에 Docker 이미지를 Push하는 방법을 다룬다. 다음 포스팅에서는 Push한 이미지를 시놀로지 NAS에서 사용하는 방법을 정리한다. 시놀로지 NAS에 Nexus와 Docker 저장소 구축하는 방법은 다음 포스팅을 참고한다. 시놀로지 NAS에 Nexus3 구축하기 현재 근무 중인 회사에서는 사내 ..

Nexus3를 이용한 Docker 사설 저장소 구축은 3개의 저장소가 필요하다. hosted (Local) - 내부에서 생성한 Docker 이미지 파일을 배포 (Push)한다. proxy (Remote) - 외부의 Docker 저장소의 이미지들을 저장하고 내부 사용자에게 전달한다. 캐시 (Cache) 역할이다. group (Repos) - 다수의 hosted, proxy 저장소를 묶어 단일 경로를 제공한다. 그림으로 표현하면 다음과 같다. Local, Remote, Repos는 사내에서 운영중인 jFrog Artifactory에서 사용하는 용어이다. Nexus3의 용어보다 더 직관적이어서, Local, Remote, Repos 용어를 사용한다. blob store 생성 Docker를 통해 공유되는 패키지..

Conda 저장소는 데이터 과학과 머신러닝, 딥러닝에 주로 사용하는 아나콘다 패키지의 공식 저장소이다. Nexus3를 이용한 Conda 사설 저장소 구축은 1개 저장소만 필요하다. proxy (Remote) - 외부의 Conda 저장소의 패키지를 저장하고 내부 사용자에게 전달한다. 캐시 (Cache) 역할이다. 그림으로 표현하면 다음과 같다. 참고로 Conda 저장소는 proxy만 제공하고 hosted와 group은 제공하지 않는다. Conda에서 conda 가상환경 설정을 제외하면 대부분 pip를 많이 사용한다. 직접 생성한 파이썬 패키지는 pypi 저장소(hosted, 내부 저장소)를 통해 배포하면 된다. blob store 생성 Conda를 통해 공유되는 패키지 파일들을 저장할 공간을 설정한다. C..

APT 저장소는 우분투 (데비안 계열) 패키지의 공식 저장소이다. Nexus3를 이용한 APT 사설 저장소 구축은 1개 저장소만 필요하다. proxy (Remote) - 외부의 APT 저장소의 패키지를 저장하고 내부 사용자에게 전달한다. 캐시 (Cache) 역할이다. 그림으로 표현하면 다음과 같다. 참고로 APT 저장소는 hosted와 proxy만 제공하고, group은 제공하지 않는다. 직접 우분투 패키지를 작성할 일은 거~~~~의 없어서 hosted도 거의 사용하지 않을 것 같다. blob store 생성 APT를 통해 공유되는 패키지 파일들을 저장할 공간을 설정한다. Create blob store 버튼을 클릭한다. 사용할 저장 공간을 생성한다. Type - File을 선택한다. Name - deb..