Man of Concrete

안녕하세요 ? 너무 큰 엑셀파일은 다룰때마다 걱정이 됩니다. 한가지 행동을 할때마다 기다리기 일수이고, row 제한을 넘어가서 난처하기도 하죠. 파이썬 라이브러리인 pandas는 익숙해지기만 한다면 엑셀보다 훨씬 편리하게 데이터를 다룰 수 있을 것 같습니다.  기억을 위해, 이번에 다뤘던 기능들을 간단하게 정리해 놓습니다. 0. 파이썬에서 판다스 라이브러리 불러오기    import pandas as pd 1. 파이썬에서 판다스를 이용하여 엑셀파일 불러오기    data = pd.read_excel('data.xlsx') 2. 파이썬에서 판다스를 이용하여 CSV파일 불러오기    data = pd.read_csv('data.csv') 3. 파이썬에서 판다스로 불러온 데이터 확인하는 방법    data.head(10)    data.shape 4. 파이썬에서 판다스로 데이터 연결하기    data00 = data01.append(data02, ignore_index=True) 혹은    data00 = pd.concat([data01,data02], axis=0)    #data01 아래에 data02를 연결함    data00 = pd.concat([data01,data02], axis=1)    #data01 옆으로 data02를 연결함 5. 파이썬 판다스, 엑셀의 피벗 테이블 기능    traffic3 = pd.pivot_table(traffic2, index=['지점번호', '월', '일', '방향'],               ...

  안녕하세요?   딥러닝을 공부하다보면, Learning rate, Activation, input feature, hidden layers 등 많은 것을 결정하게 됩니다.  보통은 자세하게 알지 못하고, 사실 잘 몰라도 딥러닝 방법을 적용하고 원하는 결과를 얻는데에는 아무런 문제가 없었습니다.   '우리들이 이것저것 해봤더니, Activation은 그냥 ReLU를 사용하면 되더라' 정도의 결론을 내고 넘어가더라고요.   아니면, 너무 앞부분에 대한 설명이어서 gradient decent가 이러저러하고, back propagation이 이러쿵 저러쿵 하는데 여전히 마음속 깊숙히 딥러닝 과정이 그려지지는 않는 듯 합니다.   그래서 텐서플로는 놀이터를 만들어 주었는데요. 코드를 배우느라 머릿속에서 빙글빙글 거리는 개념들을 시각화 해서 다뤄볼 수 있습니다. https://playground.tensorflow.org/   우선 익숙한 단어들이 보이네요 아무 생각 없이 이것 저것 눌러보면서 해볼 수 있어요.  그래서 분류(Classification) 문제 중에 가지고 가장 복잡한 데이터셋을 골라보았습니다.  회오리 모양으로 되어 있는데 과연 이렇게 Non-linearity가 극대화(?)된 데이터셋도 분류가 될까 싶어서 이거저것 눌러보았습니다.  어떤 feature가 회오리 무늬를 만들어낼 수 있을지, 몇겹의 hidden layer가 적당할지 고민해볼 수도 있었고, Epoch가 증가함에 따라 모델이 어떻게 발전해나가는지도 확인 할 수 있었습니다.  결국에는 잘 분류 할 수 있는 모델이 만들어 졌습니다.   비슷한 놀이터가 하나 더 있었습니다. https://ml-playground.com/  머신러닝들을 가지고 해볼 수 있는 곳입니다.  분류 문제만 다룰 수 ...

안녕하세요 ?  파이썬은 진짜 쉽다. 케라스도  쉽다. 이런 이야기를 많이 들었습니다.  그런데 진짜 초보 입장에서는 시작이 절반이라는 생각이 계속 들게됩니다.  진짜 간단하게 설치 된다고 하는데, 검정색 화면을 열어서 뭘 적어야하고, 하라는대로 했는데도 튜토리얼 코드가 실행되지 않곤 합니다. 도스창 울렁증이 있는 초보들도 케라스를 할 수 있는 방법이 있습니다. 우선, 항상 그렇듯 구글검색 -> anaconda -> 공식사이트에서 다운로드 후 설치합니다. 가장 최신버전으로 설치했습니다. 낮은 버전도 함께 제공되는 이유가 분명히 있을텐데 초보여서 잘 모릅니다.   보통은 이다음부터 검정색이 나오죠.  그런데 아나콘다 네비게이터 라는 것이 함께 설치됩니다.  아나콘다 네비게이터를 실행하면 GUI로 환경을 만들고 쥬피터노트북을 실행 할 수 있습니다.  cmd 창에다가  conda create 어쩌구, activate 어쩌구, pip install 어쩌구 하던것을 쉽게 눈으로 보면서 할 수 있습니다.  우선 Environments 탭의create 를 클릭해서 새로운 환경을 하나 더 만듭니다.  오른쪽에 라이브러리 리스트가 나옵니다. 조건을 all 로 선택한 후에 search 창에 필요한 라이브러리를 찾아서 설치합니다.  tensorflow, keras, pandas, numpy, matplotlib, sklearn 정도가 keras를 활용하는데 흔하게 쓰이는 라이브러리 입니다.  걱정할게 없는게, 혹시 소스코드를 인터넷에서 찾아서 해보다가 그런 라이브러리가 없다는 에러메세지가 나온다면, 그 라이브러리를 찾아서 설치해주면 되는 것입니다. Home 으로 다시가서 application on 을 방금 만든 환경으로 선택한 다음에 jupyter ...