빅데이터를 지배하는 통계의 힘 - 니시우치 히로무

우리는 통계의 시대에 살고 있다. 많은 데이터로 통계를 하면 빅데이터이고 그걸 많이 하면 머신 러닝이다. 통계 해석, 회귀분석이라고 하면 고리타분해 보이지만 데이터마이닝, 뉴럴 네트워크라고 하면 있어 보인다. 50년도 더 된 학문이 IT를 만나 비약적으로 발전하고 있다. 그래도 여전히 핵심은 통계학이다.

전수조사와 표본조사

전수조사를 하면 정확한 데이터를 얻을 수 있다. 하지만 표본조사를 해도 오차가 크지 않다. 선거 때 출구조사가 거의 맞는 것만 봐도 표본조사의 위력을 알 수 있다. 결국 돈과 시간의 문제다. 1%의 정확도 개선을 위해 수억을 투자할 필요가 있는가. 그럴 필요가 없다면 빅데이터가 필요 없다.

오차와 인과관계

세상에는 우연이 존재한다. 나에게는 그런 일이 일어나지 않을 거라고 믿는 것이 아니라면 오차를 고려해야 한다. 인과관계의 방향 또한 중요하다. 광고를 본 사람과 구매자의 비율을 단순 조사하는 것은 의미가 없다. 광고를 봐서 구매한 것인지 구매해서 광고를 본 것인지 해석이 필요하다. 그래야 그 결과를 가지고 이익을 내는 방법을 찾을 수 있다.

두 그룹 간의 비교
연속값 : 평균값의 차이를 t검정
이산값 : 집계표의 기술과 카이제곱 검정

다그룹 간의 비교
연속값 : 평균값의 차이를 분산 분석
이산값 : 집계표의 기술과 카이제곱 검정

연속값의 크기로 비교
연속값 : 회귀 분석
이산값 : 로지스틱 회귀 분석

복수의 요인으로 동시 비교
연속값 : 다중 회귀 분석
이산값 : 로지스틱 회귀 분석

 

 

통계의 힘(빅데이터를 지배하는)

『빅데이터를 지배하는 통계의 힘』은 통계와 관련된 역사적 사건부터 업무에 꼭 필요한 통계 기법, 그리고 다양한 활용 분야를 안내한 책이다. 저자는 현대를 살아가는 모든 사람이 통계를 읽는 힘을 갖춰야 하는 이유를 제시하고, 통계를 이용해 기업 컨설팅을 해준 사례를 바탕으로 실제로 응용 가능한 통계 활용법을 친절하게 설명한다. 아울러 유용한 데이터를 얻기 위한 검색 요령도 마지막 부분에 간략하게 다룬다. DM 발송 방식을 변경하는 사소한 조정으로 60억 엔의 추가 이익을 얻어낸 기업 사례, 통계의 기본 개념인 오차를 모르고서 단순히 0.1퍼센트의 수치 상승에 기뻐하며 의사결정을 내려 낭패한 국가 정책 사례 등 기업이나 사회 각 분야에서 통계를 활용한 사례를 설명하는 방식으로 구성되어 있어 이해하기 쉽다. 또한 통계가들의 관점 차이로 빚어진 논쟁과 빈도론파와 베이즈파의 확률을 둘러싼 대립이 에피소드 형식으로 소개되어 있어 통계라는 분야를 이해하는 또 다른 재미를 더한다.

저자

니시우치 히로무

출판

비전코리아

출판일

2013.07.30