다시하는 블로그

저번 포스팅에서 WEB UI로 구글 클라우드 플랫폼(GCP)에 접근 사용하는 법을 알아 보았는데

WEB UI 기반의 접근을 자주 하다 보면 많은 오류가 발생된다

그러던 중 gcloud sdk를 이용하여 GCP 접근을 하여 사용하면 조금은 복잡하지만 좀 더 빠르고 확실하게 세팅을 할 수 있어서 간략하게 포스팅 하고자 한다

본 포스팅은 MAC 기반으로 이루어 졌지만 Windows 기반으로도 활용이 가능하다

SDK를 설치 하고 path를 설정해주는 법만 다를뿐 사용하는 방법은 같다

우선 GCP sdk를 깐다 링크 

자신의 플랫폼과 맞는 sdk를 설치해주면 된다

설치를 다 하면 설치된 폴더에 가서 설치를 진행해주면된다

./google-cloud-sdk/install.sh

설치가 끝났다면 위에 

중간에 설치에 관한 정보 등을 구글에 전송할 것인가 물어보는데 필요한데로 대답을 해주면 설치가 완료 된다

Windows에서는 설치된 패스가 자동으로 등록이 되어 setup만 해주면 설치가 종료가 된다

하지만 mac이나 linux 환경에서는 설치를 마치면 path를 등록해주어야 한다

실행 파일의 위치는 설치 마지막에 친절하게 알려 준다

위 이미지에 Source 라고 되어 있는 부분이 설치된 파일의 저장 위치다

sudo su 를 이용해서 슈퍼 관리자 권한을 얻은후 path를 지정해 줘도 되고

그냥 설치된 위치/bin/gcloud 를 사용해서 sdk를 사용해도 된다

일단 맥을 써본지 얼마 안되서 path가 지정이 안되어 일단 설치된 위치/bin/gcloud를 사용하고 있다

여기까지 하면 설치가 종료되었다

다음포스팅에서 사용법을 간단히 알아보도록 하겠다

리눅스를 자주 사용하지 않아 자주 사용하는데 찾아야 하는 명령어를 대충 정리

ubuntu 내 파일 검색

find -name '*.sh'  - 폴더 내 sh확장자를 가진 모든 파일을 검색

find / -name '*.sh' - HDD 내 sh확장자를 가진 모든 파일을 검색

SSH cash 제거    

ssh-keygen -R IP 

저번 포스팅에 이어 생성된 구글 클라우드 플랫폼(GCP)에 Cuda 및 사용할 프로그램을 설치해보도록 하겠다

포스팅의 순서는

1. Cuda & Cudnn 설치

2. tensorflow 설치

3. pytouch 설치

4. caffe 설치

본 설치 방법은 ubuntu 16.04 버전에서 진행 되었다

Cuda 설치

Cuda.설치는 GCP 홈페이지 링크 를 타고 가도 잘 설명이 되어 있다

하지만 블로그에 간략하고 간단하게 요점만 포스팅을 한다면

일단 SSH를 통해 GCP에 접속을 한다

접속을 하면

curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb

을 통해 Cuda 를 다운로드 받을 수 있다.

다운이 완료 되면

sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb

를 통해 설치 준비를 하고

sudo apt-get update

를 통해 package를 업데이트 하고

sudo apt-get install cuda-8-0

을 통해 설치를 할 수 있다

을 통해 설치를 마치면

nvidia-smi

를 통해 설치 된것을 확인 할 수 있다

Cuda를 설치 했다면 많은 알고리즘들이 사용하고 있는 cudnn을 설치 해보자

cudnn을 설치하기 위해서는 Nvidia 사이트로 이동을 해서 받으면 된다

cudnn은 드라이버와 다르게 가입을 해야 받을 수 있으니 가입을 해서 받는다

일단 클라우드에서 다운 받는 법을 몰라 다른 운영체제에서 받아서 복사 해보도록 하겠다

가입을 한 후 cudnn을 받는다

앞으로 사용할 cudnn은 7버전으로 cuda-8에서 사용할 버전을 다운받는다 (cudnn 버전은 사용의 목적에 따라 다른버전으로 받아도 된다)

위 블록으로 설정한 3가지 Runtime-library, deb-lib, doc-lib 3가지를 전부 받는다

3가지를 전부 받았다면 scp 명령어로 클라우드로 3가지 파일을 카피 한다

ssh 접속하는 방법과 비슷하다

scp -I ~/.ssh/my-ssh-key [LOCAL_FILE_PATH] [USERNAME]@[IP_ADDRESS]:~

 를 통해 파일을 전송 할 수 있다

3가지 파일을 전부 전송 하였다면 cuda 설치와 마찬가지로 설치를 하면된다

sudo dpkg -i libcudnn7_7.0.3.11-1+cuda8.0_amd64.deb

$ sudo apt-get install python-pip python-dev   # for Python 2.7
$ sudo apt-get install python3-pip python3-dev # for Python 3.n

$ pip install tensorflow      # Python 2.7; CPU support (no GPU support)
$ pip3 install tensorflow     # Python 3.n; CPU support (no GPU support)
$ pip install tensorflow-gpu  # Python 2.7;  GPU support
$ pip3 install tensorflow-gpu # Python 3.n; GPU support 

$ sudo pip uninstall tensorflow  # for Python 2.7
$ sudo pip3 uninstall tensorflow # for Python 3.n

sudo apt-get install python-virtualenv

$ virtualenv --system-site-packages targetDirectory # for Python 2.7
$ virtualenv --system-site-packages -p python3 targetDirectory # for Python 3.n

$ source ~/[DirectoryName]/bin/activate # bash, sh, ksh, or zsh
$ source ~/[DirectoryName]/bin/activate.csh  # csh or tcsh

(tensorflow)$ easy_install -U pip

(DirectoryName)$ pip install --upgrade tensorflow      # for Python 2.7
(DirectoryName)$ pip3 install --upgrade tensorflow     # for Python 3.n
(DirectoryName)$ pip install --upgrade tensorflow-gpu  # for Python 2.7 and GPU
(DirectoryName)$ pip3 install --upgrade tensorflow-gpu # for Python 3.n and GPU

(DirectoryName)$ deactivate 

$ rm -r [DirectoryName]