Razelo 기술노트

얼마전에 트위터 피드를 보던 와중에 굉장히 흥미로운 영상을 보게 되었다. 불과 이틀전에 올라온 트윗인데도 불구하고 리트윗과 좋아요수가 굉장히 많았다. 원본 트윗이 구글 딥마인드에서 작성한 트윗이었는데 AlphaCode라는 이름을 듣고 이번엔 알파고가 아니라 새로운 무언가 나왔구나라는 것을 직감했다.  영상을 보고 나니 정말 대단하다는 생각이 들었다. 아마 유튜브나 인터넷에 AlphaCode라고 검색하면 작동하는 영상을 볼 수도 있을텐데 보고나면 누구나 묘한 생각이 들 것 같았다.  불과 얼마전에 OpenAI 에서 만든 Gpt-3모델 관련 컬럼을 읽으면서 지금 이정도까지 발전했구나를 느끼면서 너무나 신기했었는데 단순한 텍스트나 작문을 떠나서 문제를 풀이하고 입력을 받아 원하는 출력까지 낼 수 있는 구현을 ..

사진을 웹캠으로 찍었을때 무슨 숫자인지 알아맞히는 숫자인식을 하려고 근 이틀동안 colab에서 코드를 짜는 중이다.  그런데 오늘 오후 내내 이리저리 코드를 수정해보면서 GPU로 학습을 진행했는데 잘때쯤이 되니까 이게 떴다. 에폭 20에 배치사이즈 128정도 되는 분량을 돌렸다가 또 코드를 수정하고 또 돌리고 한참을 해서 GPU를 많이 써서 그런 것 같다. 전에 colab pro를 결제해서 사용할땐 이런적 없었는데 역시 무료라서 한계가 있나보다.  기왕이면 colab pro를 쓰자. 얼마 안한다.  그래서 사실 지금 CPU로 돌리고 있다는건 비밀...  돌리다가 도저히 진행이 안되는것 같아서 포기하고 그냥 자는것도 비밀... ㅋㅋ

딥드림이라는게 있는데 꿈 혹은 환각처럼 보이도록 고의적 처리를 통해 만들어진 이미지이다.  인공 신경망을 모방하여 수많은 이미지를 학습하고 이후에 그 이미지들에서 feature들을 추출하여이와 전혀 관련없는 이미지에 적용하여 예술적인 결과물이 나오게 되는 것이다.  아래 링크에서 재미나게 소개해주고 있는데 읽어보면 좋을 듯 하다. 링크: http://www.aitimes.com/news/articleView.html?idxno=119826  예전에 이와 관련된 기사를 보면서 고흐 풍의 그림을 딥드립으로 만들어낸걸 보면서 너무 신기하다고 생각했는데이번에 관련 오픈소스를 만져볼 일이 있어서 포스팅하게 되었다. (삽질하다가 뜯어보았다. 진짜 고생했다.) deep_dream.py라고 검색하기만 하면 바로 해당 ..

오버피팅이란 용어를 처음 듣게 되었는데 감이 잡히지 않아 정리하게 되었다.  간단히 정리하면 공통 특성 중 일부 특성만 너무 편향되어 반영된 상태로 학습되면 새로운 데이터로 막 예측해버리는 모델인 UnderFitting이 되는 것이고만약 공통 특성 중 지엽적인 특성까지 반영하여 high variance 하게 학습하게 되면 새로운 데이터에 대해서는 예측하지 못하는 모델인 overfitting이 되는 것이다.  아래 블로그에 상당히 쉽게 설명되어 있다. https://nittaku.tistory.com/289 10. 오버피팅 및 언터피팅 이해 및 극복하기(bias, variance를 통한 Regularization(lr) / Early Stop / Dropout)캡쳐 사진 및 글작성에 대한 도움 출저 : 유..