Razelo 기술노트

얼마전에 트위터 피드를 보던 와중에 굉장히 흥미로운 영상을 보게 되었다. 불과 이틀전에 올라온 트윗인데도 불구하고 리트윗과 좋아요수가 굉장히 많았다. 원본 트윗이 구글 딥마인드에서 작성한 트윗이었는데 AlphaCode라는 이름을 듣고 이번엔 알파고가 아니라 새로운 무언가 나왔구나라는 것을 직감했다. 영상을 보고 나니 정말 대단하다는 생각이 들었다. 아마 유튜브나 인터넷에 AlphaCode라고 검색하면 작동하는 영상을 볼 수도 있을텐데 보고나면 누구나 묘한 생각이 들 것 같았다. 불과 얼마전에 OpenAI 에서 만든 Gpt-3모델 관련 컬럼을 읽으면서 지금 이정도까지 발전했구나를 느끼면서 너무나 신기했었는데 단순한 텍스트나 작문을 떠나서 문제를 풀이하고 입력을 받아 원하는 출력까지 낼 수 있는 구현을 할 ..

사진을 웹캠으로 찍었을때 무슨 숫자인지 알아맞히는 숫자인식을 하려고 근 이틀동안 colab에서 코드를 짜는 중이다. 그런데 오늘 오후 내내 이리저리 코드를 수정해보면서 GPU로 학습을 진행했는데 잘때쯤이 되니까 이게 떴다. 에폭 20에 배치사이즈 128정도 되는 분량을 돌렸다가 또 코드를 수정하고 또 돌리고 한참을 해서 GPU를 많이 써서 그런 것 같다. 전에 colab pro를 결제해서 사용할땐 이런적 없었는데 역시 무료라서 한계가 있나보다. 기왕이면 colab pro를 쓰자. 얼마 안한다. 그래서 사실 지금 CPU로 돌리고 있다는건 비밀... 돌리다가 도저히 진행이 안되는것 같아서 포기하고 그냥 자는것도 비밀... ㅋㅋ

결과물로 나온 영상들을 업로드한다. 결과물1 결과물2: 결과물3: 나머지 2개의 결과물이 더 있는데 아마 저작권이 걸릴것같아서 업로드하지 못할것 같아서 아쉽다. (아직 성능 개선의 여지가 너무 많은 것 같아서 좀 더 시간이 있었다면 더 좋은 퀄리티를 만들어낼 수 있었을 것 같지만 다른 팀들도 마찬가지였을거라고 생각하니 3등도 아쉽지는 않다. 다 똑같은 시간을 받았으니 동메달에 감사하자!) 올리지 못한건 마이클잭슨의 뮤직 비디오 중 하나이고 다른 하나는 TV방송 프로그램중 하나인 비정상회담의 일부 장면인데 올리면 안될 것 같아서 개인적으로 간직해둬야할것 같다.

딥드림이라는게 있는데 꿈 혹은 환각처럼 보이도록 고의적 처리를 통해 만들어진 이미지이다. 인공 신경망을 모방하여 수많은 이미지를 학습하고 이후에 그 이미지들에서 feature들을 추출하여 이와 전혀 관련없는 이미지에 적용하여 예술적인 결과물이 나오게 되는 것이다. 아래 링크에서 재미나게 소개해주고 있는데 읽어보면 좋을 듯 하다. 링크: http://www.aitimes.com/news/articleView.html?idxno=119826 예전에 이와 관련된 기사를 보면서 고흐 풍의 그림을 딥드립으로 만들어낸걸 보면서 너무 신기하다고 생각했는데 이번에 관련 오픈소스를 만져볼 일이 있어서 포스팅하게 되었다. (삽질하다가 뜯어보았다. 진짜 고생했다.) deep_dream.py라고 검색하기만 하면 바로 해당 파..

오버피팅이란 용어를 처음 듣게 되었는데 감이 잡히지 않아 정리하게 되었다. 간단히 정리하면 공통 특성 중 일부 특성만 너무 편향되어 반영된 상태로 학습되면 새로운 데이터로 막 예측해버리는 모델인 UnderFitting이 되는 것이고 만약 공통 특성 중 지엽적인 특성까지 반영하여 high variance 하게 학습하게 되면 새로운 데이터에 대해서는 예측하지 못하는 모델인 overfitting이 되는 것이다. 아래 블로그에 상당히 쉽게 설명되어 있다. https://nittaku.tistory.com/289 10. 오버피팅 및 언터피팅 이해 및 극복하기(bias, variance를 통한 Regularization(lr) / Early Stop / Dropout) 캡쳐 사진 및 글작성에 대한 도움 출저 : 유..

드디어 끝이 났다. 어제 밤과 오늘 아침이 제일 바빴다고 생각한다. 언제 이렇게 몰두해서 무언가를 해봤었는지 기억이 가물가물했는데 재밌어서 그런건지 아니면 새로운 분야라 내게 자극을 준것인지 어떤 이유에서인지 모르겠지만 정말 몰두해서 작업했다. 내가 모르는 기술 즉 처음 본 기술을 본 누군가는 그 기술이 마법같아보인다고 했다. 마찬가지다. 일반적인 코딩만 하면서 구조를 만드는 작업에서는 딥러닝을 이용한 작업에서 마주치는 문제들과 전혀 결이 다르다. 확실히 다른 분야라는 것을 느끼게 되었다. (알고리즘을 무엇을 선택하고 어떻게 관계를 맺을지 혹은 어떤 책임을 부여할지 고민하는 것과는 확연히 다른 고민을 하게 되었다. 이 프로그램의 경우 주로 어떻게 데이터셋을 구성해야 좋은 결과가 나올까? 혹은 왜 이런 결..

오늘은 4일차가 되었다. 3일차에 학습을 완료하고 테스트를 진행했는데 조금 부족한 부분이 있어서 오늘 개선시키기로 했다. 하지만 방향을 어디로 잡을지에 대해서 고민이 있어서 강사님께 궁금한점을 여쭤보고 이를 통해 방향성을 잡기로 했다. 아래는 내가한 질문과 그에 대한 답변의 요약본이다. 주의: 말씀을 급하게 받아치느라 잘못들은 내용이 있을 수도 있음. 개요: 일단 현재까지의 상황을 말씀드리면 일단 지금 두명이 (인종별) 데이터를 돌려보았다. 학습이 끝나고 그래프도 잘 나왔고 가장 좋은 인식률이 93프로가 나왔다. 이후에 테스트 이미지로 확인해보았는데 흑인 백인 황인이미지를 줬을때 모두 잘 인식했다. 웹캠으로 제 얼굴을 확인했을때도 yellow(황인)로 잘 인식했다. 하지만 아직 부족한 부분이 있어서 어느..

3일차에 돌린 학습이 6시간에 걸친 끝에 끝마쳤다. weight파일들도 잘 형성되었다. 인식률이 조금 아쉽긴한데 테스트를 진행할 정도가 되었다고 판단하여 테스트를 진행해보았다. 아래는 흑인, 백인, 황인 별로 랜덤 이미지를 부여하여 잘 인식하는지 테스트하였다. 결과는 셋 모두 아주 잘 인식하였다. 다만 백인의 경우 인식률이 조금 떨어지는 결과를 보였다. (내가 맡은 클래스가 백인 클래스였는데 아마 내가 라벨링을 조금 섬세하게 하지 못한 탓인것 같다. 죄송합니다. 팀원님들) 어찌되었든 중간 결과가 잘 나와서 아주 만족하고 이제 4일차에는 조금 더 성능을 끌어올려볼 생각이다.

YOLO를 활용한 프로그램이 3일차에 접어들었다. 3일차인 오늘은 각 팀별로 데이터셋을 만들어보는 시간을 가졌다. 우리 조는 인종을 구분하기 위해 백인, 흑인, 황인의 데이터를 모았다. (사실 중동, 인도와 같은 사진을 섞게 되면 확실하게 원하는 결과를 얻기 힘들어서 아직은 추가하지 않았다. 나중에 조금 더 성능을 개선할때 좀더 디테일하게 구분하기 위해서 추가할 예정이다. 지금 목표는 성능개선이 아니라 아예 결과가 잘 나오는지 안나오는지 자체를 확인하기 위함이기 때문이다. ) 백인의 경우 British, France, Italy, American등의 연관 키워드들로 사람사진만 뽑아서 저장하였다. 황인의 경우 Asian이라고 치면 연관 검색으로 일본인, 중국인, 한국인의 수많은 검색어가 나와서 손쉽게 찾을..

교육 프로그램에 참가한지 2일차가 되었다. 1일차에 전반적인 개요와 방법에 대해 설명해보았다면 2일차에는 실제로 어떻게 진행되는지에 대해 알아보았다. 1일차와는 달리 어려움은 없었다. 그리고 실제로 어떻게 인식을 가능하게 하는지에 대해 알 수 있었다. 방법을 요약하면 간단하다. 우선 darknet이 있어야 한다. (깃허브에서 다운받으면 된다. yolo darknet을 치면 알렉세이라는 분의 깃허브가 바로 뜬다. ) 그리고 이미지에서 박스 치기 즉 라벨링을 하기 위한 마킹 툴이 있어야 하는데, Yolo_mark를 사용했다. (이 툴도 알렉세이라는 분의 깃허브에서 다운 받을 수 있다. 실행방법은 해당 디렉토리로 이동한 후에 linux_mark.sh파일을 실행시키면 된다. ) 해당 툴을 사용하여 (리눅스에서 ..