28 빅데이터를 지배하는 통계의 힘 - 통계적 사고의 중요성

'확률과 통계' 

중고등학교 때 배웠던 과목이다. 

이 과목을 보면서 여러 문제들을 풀었는데 

특히 경우의 수 문제와 확률 구하는 문제가 참 어려웠다. 

공식에 의존해서 대입하는 문제들을 풀기가 수월했는데 

이 확률 문제는 공식만으로는 한계가 있기 때문이다. 

그 문제가 어떤 의미인지 정확히 이해를 해야 하고 

누군가에게 설명할 수 있을정도가 되야 문제가 풀렸다.

통계 같은 경우는 표준편차, 정규분포 등을 배웠던 것 같다. 지금은 거의 까먹었지만.. 당시 고등학생 때 수능에 출제되는 빈도가 낮은 과목이었기 때문에 그렇게 열심히 하지는 않았다. 

하지만 나는 이 과목이 내가 열심히 공부 했었던 다른 단원들 보다도 더 중요하다는 것을 요즘들어 깨닫는다. 왜 중요할까? 바로 빅 데이터 시대가 도래했기 때문이다.  빅 데이터의 사전정의는 다음과 같다.

빅 데이터는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 크기의 데이터를 말한다. 빅 데이터의 사이즈는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화하는것이 특징이다. 

사진 출처 : YES24

유튜브, 페이스북, 인스타그램 등 유명 플랫폼에서 하루에 쏟아지는 정보량은 상상을 초월한다. 장점이라면 내가 알고자 하는 정보를 인터넷에 검색만하면 거의 대부분은 알 수 있다는 것이다. 그렇다면 단점이라면? 정보를 선택적으로 받아들여야 하는데 거짓된 정보를 진실로 잘못 받아들일 수 있다. 

유튜브를 예로 들어볼까? 유튜브에 '부동산'이라고 검색해보자. 정말 수 많은 부동산 유튜버들이 투자에 관한 강의를 한다. 그 중에서는 관심을 끌기 위해 극단적인 썸네일로 시청자를 자극하는 유튜버들도 많다. 예를들면, "2019 부동산은 폭락합니다." 등 미래 예견자들이 넘쳐난다. 이 부동산에 관한 방대한 정보를 어떻게 받아들여야 하는것일까? 

과연 그들의 말이 사실일까? 그리고 투자에 관해서 얘기를 해보면 어떤 사람은 빌라에 투자 하지 말라고 한다. 또 다른 사람은 아파트에 절대 투자하지 말라고 한다. 오피스텔에 투자하는 것은 위험하다고 하고 상가에 투자하는 건 초보가 하기는 힘드니 투자 경험을 쌓고 나중에 하라고 한다. 

그렇다면 어디다 투자하라고 ㅡㅡ

여기서 필요한 것이 통계적 사고다. 그 사람들이 하는 말이 정확한 근거를 가지고 이야기를 하는 것인지 반드시 따질 필요가 있다. 그리고 그 사람이 진짜 전문가인지 전문가인척 행세를 떠는 사람인지 알아보는게 좋을 것이다.

거짓된 정보로 유명한 게 뭘까? 일단 TV에서 자주 화제가 되고 있는 '가짜 뉴스'다. 현재 우리나라뿐만 아니라 세계의 상황이 어떻게 돌아가고 있는지 아는 건 정말 중요한데 그 흐름을 파악을 하는데 '가짜 뉴스'는 큰 걸림돌이다. 

나는 뉴스를 보면 어떤 한 사건을 보고도 양측의 입장이 다르고 누가 진실을 이야기 하는건지 큰 혼란에 빠질 때가 있다. 아직 내가 그런 뉴스들을 잘 판단할 수 있는 혜안이 부족한 것도 있다. 그 혜안을 키우기 위해서는 통계에 관련된 공부를 어느정도 할 필요가 있음을 느꼈다. 

책은 나처럼 통계를 처음 접하는 사람들이 보기에는 살짝 어려운 것 같다. 처음에는 주로 통계의 역사, 통계가 왜 필요한지 등을 다루기 때문에 읽기는 수월하다. 뒷 부분으로 갈수록 다중회귀분석, 로지스틱 회귀 등 통계관련 용어들이 나오고 여러 도표들이 등장한다. 한 번 읽고 바로 이해하기는 힘들었다. 여러번 반복해서 읽고 통계에 관련된 다른 책들을 몇 권 읽으면 감이 잡힐 듯 하다.. 

통계적 사고가 중요한 것은 이뿐만이 아니다. 나중에 비즈니스를 할때에도 중대한 결정을 내릴 때 통계적 사고가 오류에 빠지지 않도록 도와줄 수 있기 때문이다. 책에서 인상 깊게 읽었던 내용은 많은 CEO들이 결정을 내릴 때 자신의 경험에 근거에서 내린다는 것이다. 언뜻보면 당연한 것 같다. 그 사람들도 오랜기간 사업의 경험을 토대로 최선의 결정을 내리는 것은 당연한 것이 아닌가?

하지만 책에서는 달리 말하는 게 경험에 근거한 선택보다는 통계에 근거한 선택이 중대한 결정을 하는데 도움이 된다는 것이다. 실제로 이에 대한 사례들을 언급을 하는데 꽤 흥미로웠다. 맞는지 틀린지는 잘 모르겠다. 하지만 통계적으로 사고하는 것이 오류에 빠질 확률을 줄여주는 것은 확실한 것 같다. 나중에 그런 순간이 나에게 온다면 지금 통계를 공부했던 것들이 빛을 발하지 않을까?

이 책을 읽고나서 물론 다른 통계에 관련된 책도 읽겠지만 나름 원칙이 생겼다. 뉴스나 유튜브 등 플랫폼 사이트에서 정보를 접할 때 그 정보들의 근거가 명확한지, 정확한 통계를 바탕으로 얘기를 하는 것인지. 반드시 따져보면서 선택적으로 정보를 얻자는 것!