클라우드 데이터 저장소 CLI 사용하기

클라우드에 데이터를 담아 두고, 필요할 때 간편하게 사용하는 시대이다. 다양한 공간 - 환경 - 언어에서 쉽게 접근 할 수 있는 장점을 가지고 있다. 맥이나 리눅스 환경에 익숙한 사용자들은 CLI가 주는 장점을 잘 알고 있을 것이다. 본문은 주요 데이터 저장소의 CLI 연결 정보(방법)를 요약한다. 목차 aws s3 google drive google cloud storage 아마존 웹 서비스 (AWS: amazon web service) 의 S3 # CLI 설치 : https://aws.amazon.com/ko/cli/ pip...

Read More

spark에서 aws s3 접근하기

spark standalone 모드에서 s3 접근 테스트를 시도했다. 2016년 10월 21일 기준, 스파크 홈페이지에서 hadoop 2.4 빌드 버전 가져온다. spark-2.0.1-bin-hadoop2.4 ** 하둡 2.7 버전에서는 다양한 에러가 발생했다. s3 접근을 위한 환경 설정을 한다.  * conf/spark-defaults.conf 에서 변경하는 방법 spark.hadoop.fs.s3n.awsAccessKeyId      <aws_accesss_key> spark.hadoop.fs.s3n.awsSecretAccessKey...

Read More

MacOS에서 Spark 테스트 환경 구성

맥북에서 스파크 환경 구성 방법이다. 테스트를 위해서 마스터 노드 하나를 띄위 사용하는 기본 설정이다. IntelliJ 도구에서 파이썬/스칼라 환경 설정을 추가로 다룬다. 목록 스파크 구성 도구 구성 수행 예제 코드 스파크 구성 가. 미리 빌드된 맥용 스파크 다운로드 나. 압축 풀고 환경 설정 export SPARK_HOME=<스파크 경로> export PATH=$SPARK_HOME/bin:$PATH export PYSPARK_PYTHON=python3 export...

Read More

맥OS <-> 오라클 접속

MacOS에서 오라클(Oracle)에 접속하는 방법을 소개한다. 파이썬 cx_Oracle 인터페이스를 통한 연결 SQLPLUS 도구를 통한 연결 먼저 파이썬 cx_Oracle 인터페이스를 통한 접근 방법이다. 오라클에서 다음 두 가지 파일을 다운 받아서 압축을 푼다. unzip instantclient-basic-macos.x64-11.2.0.4.0.zip unzip instantclient-sdk-macos.x64-11.2.0.4.0.zip 압축을 풀면 다음 디랙토리가 생성된다. instantclient_11_2 환경 변수를 등록한다. export ORACLE_HOME=$(pwd)/instantclient_11_2 export...

Read More

도로명 주소 데이터 인코딩 변환

행정자치부에서 제공하는 도로명 주소가 euc-kr로 인코딩 되어 있다. 원만한 작업을 위해서 utf-8로 인코딩 하는 방법이다. iconv -f euc-kr -t utf-8 <file-name> ** iconv The  iconv  program converts text from one encoding to another encoding. 도로명 주소DB 커버사진,...

Read More

오라클 procedure 수행 로그 남기기 - 예제 코드

오라클(oracle) 환경에서 프로시저(procedure) 작업 수행 시 로그 남기는 코드이다. 로그를 남기기 위한 procedure와 수행 코드를 넣기 위한 procedure 폼 두 가지이다. 사용 방법은 다음과 같다. 작업 수행 procedure의 — start script 와 — end script 사이에 원하는 수행 스크립트를 작성한다. 작업 수행 procedure를 이름만 바꾸고 복제해서 사용하면 로그에서 자동으로 구분할 수 있도록 했다. 작업 수행 procedure 예제 코드, CREATE OR REPLACE PROCEDURE job_proc01 IS    err_code  ...

Read More