기술노트 with 알렉 내용정리

시간압박주의40분) 빅데이터 분야 진로 고민 하시는 분께

 

빅데이터는 기본적으로
저장/처리/분석이 있다. 

대표적인 공부가 이제 통계이다.
그리고 데이터 마이닝이 있다. 텍스트 마이닝도 있다. 
visuallization도 있다. 

저장/처리는 -> Hadoop이다. 
datawarehouse는 hive, Tajo, shark 등이 있다. 

클라우드기반의 빅데이터서비스가 이제 점점 떠오르고 있다. 
하둡을 래핑해서 서비스로 제공한다. 
하둡을 구축안해도 서비스로 이용할 수 있게 된다. 
왜냐면 그 시스템을 전부 만들기는 힘들기 때문이다. 

데이터분석가도 할 수 있는 레벨로써 서비스로
돌릴 수 있는 개념이 되는거다. 
그러다 보니 그런 식의 방향으로 많이 갈것 같다. 

데이터마이닝은 통계로 분석될 데이터들을
뽑아내는 것이다. 

요즘은 보통 파이썬 크롤러로 데이터들을 끌어 모은다.
그리고 거기서 마이닝해내는 것이다.
그리고 거기서 visualization을 해서 화면에 보이게 하는 것이다. 

그리고 머신러닝을 말하자면 군집(유사성으로 묶는거다.)/선형회귀 등 
이 있다. 그리고 신경망 이론도 있고, 로지스틱 회귀분석 등도 배우게 된다. 

프로세싱 관련해서는 상당히 많은 오픈소스가 있어서 그런 오픈소스를 
파라미터를 잘 튜닝해서 사용하면 되는 개념이 되는거다. 

기업문화 상당히 중요하다. 

데이터사이언티스트 분야는 적성의 분야이다.
하루종일 수학을 해도 재미있어야 가능한 분야다. 
그래서 취업기회도 그렇고 조금 회의적일 수 있다. 
 

신입이 왔을때 DBA를 맡기기 힘들다. 
DBA는 나이가 대부분 많다.
그만큼 경력선호가 있다는 거다.
신중해야 되니까  
데이터 날리면 안되니까

그리고 작은 회사는 DBA를 따로 두긴 힘들다. 
그래서 작은 회사는 개발자한테 다 시킨다. 

개발자, TA(아키), DBA 등등 많은 분류가 있다.

개발자는 할게 많다. 

DBA는 결국 운영자다. DBA한테는 SQL을 요구한다. 
DBA와 DA는 역할이 다르다. 작은 회사에서는 다 하기도 한다. 
데이터에 대한 설계 -> 즉 아키텍트다. -> DA이다. 
DA는 데이터 설계자이다. A가 아키의 A다.
DBA의 A는 Admin이다. 

쿼리는 개발자가 짜는 경우도 많다. 
DBA가 짜는 경우도 있긴하다. 하지만 운영을 한다. 

디비가 속도가 느리면 DBA가 튜닝을 해야 한다. 
개발자한테 말해서 개선하라는 가이드를 해주고
이런일을 하는거다.
근데 이런일을 신입이 한다? 좀 어렵다. 
즉 개발자를 하다가 기회가 있을때 DBA로 넘어가는거다. 
만약 넘어가려면 2~3년차에 데이터베이스 공부를 엄청 해야 한다. 
호시탐탐노려야 DBA가 되는거다. 
그러다가 연차가 쌓이고 감이 잡히면 DA로 가는거다. 

DBA는 신입으로 가기 힘드니 연결고리를 찾아서
잘 공부해라. 

기업문화도 중요하다.

같은 곳이 하나도 없다. 
1. 자체서비스 B2C
2. 자체솔루션 B2B
3. 서비스 개발자 B2B 갑을
4. 솔루션 판매(외국) B2B

2는 외부 즉 고객으로부터 개선사항을 받는다.  
3은 요구사항이 있어야 일을 한다. 
개선사항은 취합해서 가는건데, 서비스 개발쪽은 의뢰한 쪽에 있는거다. 

솔루션판매의 경우 외국에 얘기해야한다. 업의 형태에 따라서 분위기가 다르다. 

그러면 자유로운 분위기, 수평은? 
개발자 중에 자체적으로 무언가를 하는 곳이 조금 더 유연하다. 
요구사항을 받는 곳이 좀더 경직되있다. 그냥 만들라면 만들어야 하니까. 

외국계가 가장 수평적이다. (이건 주관적인듯)

요즘 it기업들은 자율출근제를 많이 적용했다. 

외국같은 경우는 출퇴근자체를 잘 체크하지 않는다.
다만 그 일을 잘하기가 어려울뿐이다. 
 

https://www.youtube.com/watch?v=EBCFG_h8G8M