Man of Concrete

앞에서 이어집니다      1.  Mnist data 살펴보기      2. Mnist - DNN(Deep Neural Network)로 학습해보기      3. Mnist - CNN으로 학습해서 정확도 높이기      4. 직접쓴 숫자 넣어보기, 연구 적용 고민 학습된 모델을 활용해 보아야 겠죠 ? 직접쓴 숫자 몇개를 카메라로 찍은후 정사각형 모양으로 잘라내어 png로 저장하였습니다. 이번에는 OpenCV 라이브러리가 필요합니다. 그런데 라이브러리 이름은 cv2 여서 조금 헤깔릴 수 있습니다. 실습파일에는 일반환경(anaconda 등)에서 쓸 수 있는 코드도 넣어두었지만, 여기서는 colab 환경만 다루도록 하겠습니다. 일반환경에서는 동일 폴더에 png 파일을 두고 불러올 수 있지만 colab에서는 upload를 해주거나 파일이 들어있는 구글드라이브와 mount를 해주어야 합니다. 간편하게 파일 업로드 기능을 이용하여 png 파일을 올리고, 파일을 불러옵니다. 사진의 크기가 임의로 들어가있을 텐데, 28x28 픽셀로 맞춰주고, CNN 모델에 넣을 수 있는 형태로 변환해줍니다.  결과가 잘 나왔네요.  아무래도 Mnist 데이터셋처럼 깔끔하게 정리되어있는 이미지가 아니기 때문에, 학습 정확도만큼의 성능이 발휘되지는 않을 것입니다. 그렇다면 CNN은 어디에 적용할 수 있을 까요 ? 제 분야에서 이미지를 활용한 logistic regression을 적용할만한 곳을 고민해보았습니다. 열화상 이미지를 가지고 차량 종류를 분류하여 교통 데이터를 생성한다거나, 포장의 상태를 자동으로 분류할 수 있을 것입니다. 분류를 할 수 있다는 것은 YOLO 처럼 인식하는 것으로 활용될 수 있다는 것이며, 그렇다면 활용할 수 있는 부분은 더욱 많...

앞에서 이어집니다      1.  Mnist data 살펴보기      2. Mnist - DNN(Deep Neural Network)로 학습해보기      3. Mnist - CNN으로 학습해서 정확도 높이기      4. 직접쓴 숫자 넣어보기, 연구 적용 고민 본격적으로 CNN을 도입해서 학습결과의 accuracy를 높여보도록 하겠습니다. 필요한 라이브러리를 불러옵니다. 훨씬 더 많은 라이브러리가 필요합니다. Flatten, Conv2D 등 CNN을 위한 라이브러리도 있고 Dropout 과 같이 over fitting 개선효과가 있는 라이브러리들도 있는 것을 확인 할 수 있습니다. Mnist set을 불러오고 형태를 정리하는 것은 DNN과 크게 다르지 않습니다. 다만 CNN 은 Dimension을 낮출 필요가 없이 2D나 3D 등의 형태 그대로 넣어 줄 수가 있습니다. 나중에 flatten 층을 통해서 dense 층으로 넘어 갈 수 있습니다. GPU 옵션 부분은 환경에 따라 GPU 메모리를 학습 이후에도 확보하고 있는 경우가 있길래 넣어뒀습니다.(colab에서는 사용 하든 안하든 문제가 발견되지 않았습니다) CNN 모델은 convolution 층과 maxpooling 층을 번갈아 가면서 넣었습니다. 첫번째 convolution 층은 5x5 의 사이즈와 (1,1) 의 strides를 가지고 있습니다. 두번째 층은 2x2의 사이즈와 (2,2)의 strides를 가지고 있는데, Hands-on 에서는 이정도만 설명하고 넘어가겠습니다. 이것저것 옵션을 바꾸어 가면서 시도해 볼 수 있습니다. *CNN 자세한 설명 model.summary() 명령어로 모델의 형태를 확인 할 수 있습니다.  CNN 모델을 학습합니다.  batch-size를 바꿀 수...

앞에서 이어집니다. Mnist hands-on 두번째 입니다.      1. Mnist data 살펴보기      2. Mnist - DNN(Deep Neural Network)로 학습해보기      3. Mnist - CNN으로 학습해서 정확도 높이기      4. 직접쓴 숫자 넣어보기, 연구 적용 고민 앞서 다뤄보았던 Mnist 데이터를 이용해서 간단한 딥러닝을 수행해보려고 합니다. DNN 부분은 Markdown 부분에 코드를 적어놓아서, 아래에 코딩을 직접 따라서 해 볼 수도 있고, 복사/붙여넣기로 진행해볼 수도 있습니다. 주요 라이브러리를 불러오고 Mnist 데이터셋을 불러옵니다. Neural network에 넣기 위해서는 배열의 형태, demension을 맞춰주어야 합니다. 28x28 형태로 되어있던 것을 784 로 만들어 주는 것은 2D 형태였던 데이터를 1열(1D)로 만드는 것을 뜻합니다. 모든 값을 255로 나누는 것은 값을 0-1 사이에 위치시켜(scaling) 학습을 원활하게 합니다.  앞서 설명했던대로, label 값은 one hot vector 형식으로 변경해줍니다. 모델은 64개의 뉴런으로 구성된 Dense 층을 Input 으로 하고, 10개의 뉴런(label 이 10가지) 의 output 층을 갖습니다. Hidden layer은 64개의 뉴런층이 두층 추가되어있습니다. 여기서도 Input 부분의 dimension과 output 부분뉴런 개수가 X_train 값, Y_train 값의 형태와 잘 맞아야 합니다. 최근에 activation은 그냥 relu를 사용하는 경향이 있고, 마지막 output 층에서만 softmax(classification의 경우만) 를 사용하였습니다. *Activation 이란?  loss 를 계산 하는 방법 (Cost...