다시하는 블로그

컴퓨터로 작업을 하다보면 꼬이는 경우가 되려 있다

작업중 일이 꼬이면 꼬인곳을 찾기 보다는 날리고 새로 하는 경우가 빠른 경우가 있는데 

꼬일때 마다 포맷등으로 환경을 새로 설치하는 것은 귀찮고 힘들기 때문에 가상환경으로 세팅을 해서 작업을 하곤 한다

가상환경에서 작업을 한다면 mac이던 linux건 windows건 코드 레벨 단에서는 거의 다를게 없이 작업이 가능하기 때문에

갑자기 있을 상사의 업무를 카페에서 우아하게 처리할 수 있다(휴대폰으로도 가능하다 개같은거)

일단 파이썬 초보자를 위한 강좌이기 때문에 파이썬 기준으로 진행하겠다

내가 사용하기 편한 Anaconda 로 진행을 할 예정이다

일단 Anaconda를 설치해보자

아나콘다 다운로드 로 이동하여 다운로드 가능하다

버전에 맞는 것을 다운로드 해서 사용하면 된다

Next만 클릭해서 설치하면 된다

설치 폴더는 Windows => C:\ProgramData\Anaconda3

                   Ubuntu   => /home/user/anaconda3

                   Mac.        => /Users/userpath/opt/anaconda3

에 설치가 된다

Windows 기준

설치된 Anaconda를 실행해 보자

시작 버튼을 눌러서 Anaconda navigator를 찾아서 실행하자

여기서 사용할것은 Jupyter notebook과 VS code 정도를 사용할 예정이다

Launch를 누르면 실행되고 VS code에서 install을 하면 설치가 진행되면 설치가 완료 되면 Launch 할 수 있다

운영체제와 무관하게 진행이 가능합니다(맥으로 진행하였고 혹시 다른 운영체제와 다른 부분이 있으면 내용을 추가할 예정입니다)

Python 은 설치를 할 수 있다고 생각하고 진행(3.x 이상 버전으로 진행합니다)

혹시 위에 내용이 이해 안되시면 해당링크를 따라해주세요 기초 파이썬 프로그래밍

필요한 패키지를 설치해 줍니다

pip install numpy scipy matplotlib ipython scikit-learn pandas pillow imageio jupyter

설치가 완료 되었다면 작업할 폴더로 이동하여 jupyter notebook을 실행해 줍니다

workspace에서 실행해도 되고 jupyter notebook /workspace/ 로 실행하셔도 됩니다

탐색기처럼 사용이 가능하며 오른쪽 위에 New를 클릭하여 코드를 저장할 폴더를 만들어 주고 클릭하여 안으로 들어 갑니다

폴더를 새로 만들면 Untitled Folder 로 생성이 되는데 왼쪽 체크 박스를 클릭후 이름을 바꿔 줄수 있습니다

기계학습을 공부할것이니 간단하게 ml로 하겠습니다

폴더로 들어온 이후 오른쪽 위에 New를 클릭하여 Python3 파일을 생성합니다

코드는 In [] : 뒤에 있는 박스에 작성하면 됩니다 가장 기초적인 hello something을 해보겠습니다

코드를 작성후 Run을 클릭하면 실행이 가능합니다

작업에 들어 가기전 세팅을 해봤습니다

간단한 파이썬 문법이나 함수등을 머신러닝 코드를 진행하면서 함께 설명하면서 진행할 예정입니다

GCP에서도 jupyter-notebook을 만들어 로컬에서 사용하는 거처럼 구동을 할 수가 있습니다

일단 gcp가 instance 가 생성되어저 있다는 가정에 하에 이야기를 진행해보도록 하겠습니다

정말 간단하게 사용이 가능하다

일단 구글 클라우드에 접속해서 jupyter-notebook을 설치해준다

 설치를 마쳤다면 Jupyter notebook config 파일을 생성해보자

$jupyter notebook --generate-config

를 하면 config 파일이 생성이 된다

생성된 위치는

~/.jupyter/jupyter_notebook_config.py

라는 python 파일이 하나 생성이 된다

생성된 파일을 vim을 통해 열어 준다

아마 파일을 열면 위에 하얀색 글씨를 제외한 파랑색 글씨만 남아 있을 것이다

그러면 하얀색 글씨를 추가해서 config 를 작성 해준다

c = get_config()  

c.IPKernelApp.pylab = 'inline'  

c.NotebookApp.open_browser = False  

c.NotebookApp.token = '' <<- ' 2개 이다

위 내용을 추가해 주고 저장 후 종료를 한다

종료후 ssh 접속을 종료후

$ssh -i <RSA-key> -L <any port number>:localhost:8888 <ID>@<instance-ExternelIP>

예를 들어 $ssh -i ~/.ssh/key -L 1234:localhost:8888 googleID@123.123.123.123 처럼 ssh 접속을 하면 된다

접속 후  jupyter notebook을 실행하면 된다

$jupyter notebook

으로 실행하면 된다

localhost:1234

실행후 인터넷 브라우저 상에서 localhost:<portnum>

으로 접속하면 끝이 난다

만약 python 2.x로 한다면 jupyter notebook의 설치를 pip로 해주면 된다

저번 포스팅에서 WEB UI로 구글 클라우드 플랫폼(GCP)에 접근 사용하는 법을 알아 보았는데

WEB UI 기반의 접근을 자주 하다 보면 많은 오류가 발생된다

그러던 중 gcloud sdk를 이용하여 GCP 접근을 하여 사용하면 조금은 복잡하지만 좀 더 빠르고 확실하게 세팅을 할 수 있어서 간략하게 포스팅 하고자 한다

본 포스팅은 MAC 기반으로 이루어 졌지만 Windows 기반으로도 활용이 가능하다

SDK를 설치 하고 path를 설정해주는 법만 다를뿐 사용하는 방법은 같다

우선 GCP sdk를 깐다 링크 

자신의 플랫폼과 맞는 sdk를 설치해주면 된다

설치를 다 하면 설치된 폴더에 가서 설치를 진행해주면된다

./google-cloud-sdk/install.sh

설치가 끝났다면 위에 

중간에 설치에 관한 정보 등을 구글에 전송할 것인가 물어보는데 필요한데로 대답을 해주면 설치가 완료 된다

Windows에서는 설치된 패스가 자동으로 등록이 되어 setup만 해주면 설치가 종료가 된다

하지만 mac이나 linux 환경에서는 설치를 마치면 path를 등록해주어야 한다

실행 파일의 위치는 설치 마지막에 친절하게 알려 준다

위 이미지에 Source 라고 되어 있는 부분이 설치된 파일의 저장 위치다

sudo su 를 이용해서 슈퍼 관리자 권한을 얻은후 path를 지정해 줘도 되고

그냥 설치된 위치/bin/gcloud 를 사용해서 sdk를 사용해도 된다

일단 맥을 써본지 얼마 안되서 path가 지정이 안되어 일단 설치된 위치/bin/gcloud를 사용하고 있다

여기까지 하면 설치가 종료되었다

다음포스팅에서 사용법을 간단히 알아보도록 하겠다

리눅스를 자주 사용하지 않아 자주 사용하는데 찾아야 하는 명령어를 대충 정리

ubuntu 내 파일 검색

find -name '*.sh'  - 폴더 내 sh확장자를 가진 모든 파일을 검색

find / -name '*.sh' - HDD 내 sh확장자를 가진 모든 파일을 검색

SSH cash 제거    

ssh-keygen -R IP 

저번 포스팅에 이어 생성된 구글 클라우드 플랫폼(GCP)에 Cuda 및 사용할 프로그램을 설치해보도록 하겠다

포스팅의 순서는

1. Cuda & Cudnn 설치

2. tensorflow 설치

3. pytouch 설치

4. caffe 설치

본 설치 방법은 ubuntu 16.04 버전에서 진행 되었다

Cuda 설치

Cuda.설치는 GCP 홈페이지 링크 를 타고 가도 잘 설명이 되어 있다

하지만 블로그에 간략하고 간단하게 요점만 포스팅을 한다면

일단 SSH를 통해 GCP에 접속을 한다

접속을 하면

curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb

을 통해 Cuda 를 다운로드 받을 수 있다.

다운이 완료 되면

sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb

를 통해 설치 준비를 하고

sudo apt-get update

를 통해 package를 업데이트 하고

sudo apt-get install cuda-8-0

을 통해 설치를 할 수 있다

을 통해 설치를 마치면

nvidia-smi

를 통해 설치 된것을 확인 할 수 있다

Cuda를 설치 했다면 많은 알고리즘들이 사용하고 있는 cudnn을 설치 해보자

cudnn을 설치하기 위해서는 Nvidia 사이트로 이동을 해서 받으면 된다

cudnn은 드라이버와 다르게 가입을 해야 받을 수 있으니 가입을 해서 받는다

일단 클라우드에서 다운 받는 법을 몰라 다른 운영체제에서 받아서 복사 해보도록 하겠다

가입을 한 후 cudnn을 받는다

앞으로 사용할 cudnn은 7버전으로 cuda-8에서 사용할 버전을 다운받는다 (cudnn 버전은 사용의 목적에 따라 다른버전으로 받아도 된다)

위 블록으로 설정한 3가지 Runtime-library, deb-lib, doc-lib 3가지를 전부 받는다

3가지를 전부 받았다면 scp 명령어로 클라우드로 3가지 파일을 카피 한다

ssh 접속하는 방법과 비슷하다

scp -I ~/.ssh/my-ssh-key [LOCAL_FILE_PATH] [USERNAME]@[IP_ADDRESS]:~

 를 통해 파일을 전송 할 수 있다

3가지 파일을 전부 전송 하였다면 cuda 설치와 마찬가지로 설치를 하면된다

sudo dpkg -i libcudnn7_7.0.3.11-1+cuda8.0_amd64.deb

$ sudo apt-get install python-pip python-dev   # for Python 2.7
$ sudo apt-get install python3-pip python3-dev # for Python 3.n

$ pip install tensorflow      # Python 2.7; CPU support (no GPU support)
$ pip3 install tensorflow     # Python 3.n; CPU support (no GPU support)
$ pip install tensorflow-gpu  # Python 2.7;  GPU support
$ pip3 install tensorflow-gpu # Python 3.n; GPU support 

$ sudo pip uninstall tensorflow  # for Python 2.7
$ sudo pip3 uninstall tensorflow # for Python 3.n

sudo apt-get install python-virtualenv

$ virtualenv --system-site-packages targetDirectory # for Python 2.7
$ virtualenv --system-site-packages -p python3 targetDirectory # for Python 3.n

$ source ~/[DirectoryName]/bin/activate # bash, sh, ksh, or zsh
$ source ~/[DirectoryName]/bin/activate.csh  # csh or tcsh

(tensorflow)$ easy_install -U pip

(DirectoryName)$ pip install --upgrade tensorflow      # for Python 2.7
(DirectoryName)$ pip3 install --upgrade tensorflow     # for Python 3.n
(DirectoryName)$ pip install --upgrade tensorflow-gpu  # for Python 2.7 and GPU
(DirectoryName)$ pip3 install --upgrade tensorflow-gpu # for Python 3.n and GPU

(DirectoryName)$ deactivate 

$ rm -r [DirectoryName] 

구글 클라우드 플랫폼(GCP)에 SSH로 접속하는 방법은 

1. 브라우저 창에서 열기

2. 맞춤 포트의 브라우저 창에서 열기

3. gcloud 명령 보기

4. 다른 클라이언트 SSH 사용이 있다

현재 사용하고 있는 PC 에서 GCP로 접근 하는 제일 친숙한 방법인 다른 클라이언트를 사용해서 GCP로 접근하는 방법에 대해 알아보겠다

맥 또는 리눅스

일단 SSH 로 GCP에 접근하기 위해서는 RSA key pair 를 생성해야 한다

맥 혹은 리눅스에서는 .ssh 폴더 안에 RSA key pair 가 생성이 된다

ssh-keygen -t rsa -f ~/.ssh/[KEY_FILE_NAME] -C "[USERNAME]" 

를 이용해서 RSA key pair를 생성할 수 있다

[KEY_FILE_NAME]에는 생성할 RSA의 KEY 파일 이름을 생성한다. 현재 등록되어진 KEY 파일이 있을 수도 있으니 현재 생성되어지지 않은 이름으로 생성한다 ex) rsa-gcp-key

[USERNAME]에는 현재 생성한 GCP의 메일 주소를 따옴표와 함께 입력한다 ex:) "noname@gmail.com"

위와 같이 입력하면  RSA key pair 가 생성이 된다

위와 같이 PW를 입력 하고 RSA KEY를 생성한다

이후 cat ~/.ssh/[KEY_FILE_NAME].pub 를 하여 생성된 RSA KEY 내용을 확인 할 수 있다

위 처럼 나온  RSA KEY PAIR의 내용을 복사해두자

복사해 둔  RSA KEY pair의 내용을 GCP VM instance의 메타데의터의 SSH 키에 복사 한다

위와 같이 나오면 SSH 키 추가를 하면 된다

위와 같이 입력하면 key 등록이 끝난다

입력이 끝나면 터미널에서 

ssh -i ~/.ssh/[KEY_FILE_NAME] [USERNAME]@외부IP 로 접속을 하면 된다

Windows

windows에서 ssh로 접속하기 위해서는 putty 를 사용하면 된다

일단 RSA KEY pair 를 만들어야 하는데 puttygen 을 사용해서 rsa key pair를 만든다

puttygen은 putty 홈페이지 아래쪽에 다운로드 링크 혹은 위에 puttygen을 클릭하면 다운로드를 받을 수 있다

위에 Generate를 누르고 빈 창에 마우스를 휘적휘적 흔들면 key가 만들어 진다

위 테스크 바 사이에서 마우스를 움직이면 key가 만들어진다

키가 만들어 지면 Key comment에 [USERNAME]을 입력하고 Generate를 누른다

Generate를 누르면 다시 태스크바가 나오고 위와 같은 화면이 다시 뜨는데 여기서 Key comment에 [USERNAME]을 다시 입력하고 위 Key 내용을 복사해둔다

그 후 아래 Save private key를 누르면 SSH에 접속할때 사용할 ppk파일이 생성이 되고 ppk 파일이 생성되면 같은 폴더에 Save public key 를 이용해 public key 도 생성을 해둔다

그후 GCP 사이트에서 아까와 마찬가지로 메타데이터 SSH 탭에 key 내용을 복사해 넣는다

이 창에 puttygen에서 만든 rsa를 추가 항목을 클릭하여 넣어주면 된다

그 후 putty를 실행하여 Host name에는 [USERNAME]@외부아이피를 입력하고

왼쪽 Connection 탭에서 SSH->auth를 클릭한다

그 이후 Private key file for authentication 에 Browser 를 클릭하여 생성된 ppk파일을 선택하고 Open을 클릭하면 된다

다음 포스팅은 Cuda 설치등 기본적인 세팅을 하는 법을 알아보도록 하겠다

딥러닝을 원활하게 하기 위해서는 성능이 좋은 gpu가 필요한데

개인적으로 gpu를 살 돈도 전기세도 안까운 사람들을 위해 "아마존"과 "구글"에서는 클라우드 플랫폼으로 gpu를 제공을 한다

오늘은 그 클라우드 플랫폼을 생성하여 gpu를 사용하는 것에 대해 살펴보려고 한다

일단 구글 클라우드 플랫폼(이하 gcp)를 생성하기 위해서는 신용카드(본인을 증명할 수 있는), 휴대폰 그리고 구글 계정이 필요하다

위에 준비물 들이 준비가 됐다면 https://cloud.google.com 로 이동을 해서  try it free 를 선택한다

필요한 내용에 동의를 하고 계정 유형 및 이름과 주소 그리고 결제 신용카드를 작성해 넣으면 가입이 완료가 된다

평가판은 12개월 동안 사용이 가능하며 클라우드 플랫폼을 실행할때 마다 청구되는 크레딧 300을 제공해 주기 때문에 무료로 사용이 가능하다

아마 가입을 다 하고 나오면 아래와 같은 창이 아마(?) 생성이 될것이다

여기 까지 하면 기본적인 GCP를 사용할 준비가 끝났다

GPU

우선 GPU 를 세팅을 해주어야 하는데

이 화면에서 Google Cloud Platform 옆에 -가 3개 있는 제품 및 서비스를 누르면 

위와 같이 할당량 탭을 확인 할 수 있다

클릭을 하면 위와 같은 화면을 볼 수 있다. 위 화면은 현재 할당되어진 VM instance의 내용이 표시가 된것인데 GPU는 할당이 안되것을 확인 할 수 있다.

현재 사용할 수 있는 GPU 는 P100과 K80이 있다 일단 K80으로 할당해보도록 하겠다.

위 화면에서 할당량 수정 버튼을 클릭 하고 asia-east1-a 의 K80을 찾아 클릭 하도록 한다

asia-northeast라고 되어 있는 곳을 클릭했지만 asia-northeast가 아니고 asia-east1-a를 클릭해야 한다

클릭을 하면 위와 같은 화면이 나오고 전화번호를 입력하는 창이 나오는데 불법을 저지르는 것이 아니니 전화번호를 입력하도록 한다

입력을 하면 위 같이 몇개의 GPU를 사용할 것이지 그리고 왜 내가 GPU를 써야 하는지에 대해 응답하게 돼있다

일단 1개의 GPU와 내가 왜.GPU써야 하는 지에 대해 서술하고 요청을 제출한다

요청을 제출하면 메일로 사용을 해도 된다는 메일이 올 것이다

위와 같은 메일이 온다면 할당에 성공한 것이다

다음 포스팅은 이 VM instance를 사용하는 방법에 대해 알아보도록 하겠다

프로젝트 생성

기본적인 GCP 사용준비가 끝났으면 사용방법에 따라 프로젝트를 생성하면 된다

맨 윗줄에 프로젝트 선택을 클릭하여 프로젝트를 생성한다 

적당한 이름을 작성해서 프로젝트를 생성한다

프로젝트를 생성하면 1~2분 정도 시간이 소요된 뒤 프로젝트가 만들어 진다

프로젝트가 만들어 지면 아래와 같이 생성이 될 것이다

프로젝트가 만들어 지면 VM instance를 생성 할 수 있다

VM 인스턴스를 클릭하면 위와 같은 화면이 나오면서 1~2분정도 시간이 소요된다는 메시지가 출력이 된다

만들기 버튼이 활성화 되면 클릭하여 VM instance를 생성한다

생성하는 instance의 이름, 영역 그리고 사용할 운영체제를 선택해준다

이름과 운영체제는 사용할 이름과 운영체제를 자유롭게 선택하면 된다. 현재 사용할 운영체제는 우분투16.04LTS를 선택했다

영역은 구글 클라우드가 설치돼있는 국가이다. 현재 위치는 asia-east1-a 를 선택했다.

만약 GPU를 생성하지 않았다면 아래 GPU 개수가 0으로 되어 있을 것이다

하드 용량은 얼마나 사용할지 미리 살짝 파악후 만들어 두는 것이 편합니다

10기가는 조금 부족한 감이 있습니다

네트워크 내용은 그냥 일단 자동으로 선택이 되는 내용으로 설정했다

이후 만들기를 선택하면 생성이 완료 된다

다음 포스팅은 ssh로 접속하는 방법가 사용할 몇몇 가지를 설치하는 것에 대해 포스팅할 예정이다

거의 10년동안 Windows만 써오다가 처음으로 Mac을 구매하여 이것 저것 세팅을 하면서 정리를 해보고자 합니다

먼저 제일 많이 사용하고 있는 라이브러리인 Opencv 를 설치해보려고 합니다

일단 아무 것도 세팅 되어 있지 않은 MacBook 이 필요 합니다

우선 설치 순서는

1. Xcode install

2. Cmake install

3. Download Opencv 3.x

4. Build Opencv 3.x

5. Install Opencv 3.x

1. Xcode install

우선 Mac에서 이것 저것 설치 하기 위해서는 Xcode라는 것이 필요한 것으로 보여 App Store를 통해 설치해주었습니다

2. Cmake install 

https://cmake.org 를 통해 Cmake를 다운로드 받아서 설치해 주었습니다

설치 하면 Windows랑 비슷한 녀석이 설치가 됩니다

3. Download Opencv 3.x

https://github.com/opencv 을 통해서 Opencv와 Opencv_Contribute를 받아 올 수 있습니다

Contribute의 사용은 선택적입니다

Opencv_contribute는 기본 Opencv 이외에 tracking 등 기타 기능이 추가되어 있는 module입니다

Opencv 를 전부 다운받았다면 Opencv_contribute안에 있는 module폴더를 복사해서 Opencv 폴더로 카피 해둡니다

4. Build Opencv 3.x

Download가 끝났다면 build를 통해 Opencv 설치를 진행할 수 있습니다

Opencv폴더 내에 build 폴더를 만들고 그 안에 cmake를 통해 build를 진행 할 수 있습니다(꼭 build 폴더가 아니어도 상관없습니다)

Windows 와 마찬가지로 source code에 다운로드 받은 opencv path를 지정해주고 build the 

configure이후 Generate를 하면 make 파일들이 생성이 되고

make 를 통해 설치파일들을 만들 수 있습니다

5. Install Opencv 3.x

설치된 make 파일들은 (sudo) make install 을 이용해 설치 할 수 있습니다

위와 같이 설치가 되면서 끝이 나게 됩니다

다크넷 포스팅입니다

혹시 앞에 과정이 이해가 안되시면 댓글로 남겨주세요

설치가 잘 되었는지 간단한 예제를 통해 학인을 해봐야 합니다 그래야 잘 설치되었나 확인할 수 있습니다

요번에도 Ubuntu와 Windows로 나누어 포스팅하겠습니다

"예제"실행편(Ubuntu 14.04)

"예제"실행편 역시 https://pjreddie.com/darknet/yolo/ 홈페이지를 참고하여 만들었습니다

http://wget https://pjreddie.com/media/files/yolo.weights 을 이용해 실행에 필요한 weight를 받을 수 있습니다

weight를 받으 셨으면 바로 실행할 수 있습니다

./darknet detector test cfg/coco.data cfg/yolo.cfg yolo.weights data/dog.jpg 를 실행하시면

위와 같은 결과를 얻으실 수 있습니다

"예제"실행편 (Windows)

윈도우즈 버전은 제작자가 솔루션을 다 만들어 두어서 솔루션만 실행하시면 됩니다

자신의 세팅에 맞는 솔루션을 실행해 주시면 됩니다

아래 yolo_blahblah.sln들은 추후에 사용할 예정이니 무시하셔도 됩니다

darknet을 gpu와 nogpu 둘중에 실행하시면

darknet.exe 혹은 darknet_no_gpu.exe가 생성됩니다

darknet(or darknet_no_gpu) detector test cfg/coco.data cfg/yolo.cfg yolo.weights data/dog.jpg 로 실행하면됩니다

data와 cfg파일의 위치는 exe파일 기준으로 정해주시면됩니다

다음편은 실행편으로 돌아오겠습니다