[877]모두 거짓말을 한다 Everybody Lies_구글 트렌드로 밝혀낸 충격적인 인간의 욕망

<모두 거짓말을 한다>는 사람들이 구글이나 페이스북에서 사용하는 말들이 빅데이터가 되고, 이를 분석하면 이전에는 알 수 없었던 사람에 대한 통찰을 얻을 수 있다는 것을 여러 사례를 들어 설명한다. 제목 자체가 흥미를 끌었지만 내용을 읽으면 읽을수록 빅데이터 분석의 매력을 느끼게 되는 책이다. 

설문조사에서는 드러나지 않는 내밀한 것들도 구글 검색어 분석을 통해 알 수 있다. 왜냐하면 우리가 구글 검색을 할 때는 자신의 정체를 드러내지 않을 수 있기 때문이다. '아하! 그렇겠구나' 싶은 부분이 많았다. 이전에는 빅데이터 분석이라고 하는 게 인공지능, 챗GPT 등을 연상하는 정도였는데 실제 적용되는 사례를 보니 우리 사회의 거의 모든 분야게 활용될 수 있겠다. 심지어 자살 예방 프로그램을 가동하는 쪽에도 생각해 볼 수 있다. 

기대했던 것보다 훨씬 유익한 책으로 빅데이터 분석의 매력을 찾고 싶은 분들께 강추한다. 다음은 책에서 남기고 싶은 문장을 인요하며 소감을 함께 포스팅한다.

728x90

이 책의 주된 목표 중 하나는 빅데이터로 무엇을 할 수 있는지 입증할 증거를 제공하는 것이다. 원한다면 누구나 거대한 건초 더미 속에서 바늘을 찾을 수 있음을 보여주는 것이다. 인간의 정신과 행동에 관한 새로운 식견을 제공하는 빅데이터의 예를 충분히 제시해서 당신이 정말 혁명적인 무엇인가의 윤곽을 잡을 수 있기를 바란다. (30)

책의 목표를 요약했다. 책을 모두 읽고 나니 저자의 목표는 충분히 달성했다고 본다. 다양한 빅데이터 분석 사례는 독자들이 자신의 분야에서 활용할 수 있는 가치를 찾을 수 있도록 인사이트를 준다. 

구글의 수치로 판단하자면 시카고에서 호놀룰루로 이주하는 것이 약을 복용하는 것보다 겨울 우울증에 적어도 두 배의 효과가 있다. (48)

재미있는 우울증 처방이다. 여건이 된다면 겨울철에는 잠시 따뜻하고 햇볕을 만끽할 수 있는 남쪽으로 가는 편이 약을 먹는 것보다 훨씬 좋겠다. 겨울이면 동남아시아에 유럽이나 러시아 여행객이 많다고 하는데 비슷한 이유인 듯 싶다. 

데이터에 따르면 조던은 그의 말마따나 부모님과 중산층이라는 자신의 배경에 감사해야 한다. 넉넉하지 않은 가정과 환경에서 매우 뛰어난 재능을 가진 사람들이 있기는 하지만 그들은 NBA에 진출하지 못한다. 그것이 데이터가 우리에게 말해주는 사실이다. 그들에게는 유전자와 야망은 있었지만 농구계의 슈퍼스타가 될 만한 성품은 개발하지 못했다. (59)

마이클 조던이 만약 하층민 거주지역에서 살았다면 그가 아무리 운동에 소질이 있다고 하더라도 슈퍼스타가 되긴 어려웠을 것이다. 데이터를 통해 프로 운동선수들이 루브론 제임스와 같이 어려운 환경에서 성공한 사람들보다는 중산층 배경이 많다는 사실을 보여준다. 능력이 있더라도 어려운 가정환경은 그 사람의 성품에 영향을 미쳐 동료들과 어울리지 못하게 되어 결국은 프로 리그에 진출하지 못한다. 

 

요점은 구글이 검색 분야에서 지배적인 위치에 오를 수 있었던 이유가 단순히 경쟁자들보다 많은 데이터를 수집했기 때문이 아니라는 점이다. 그들은 더 나은 유형의 데이터를 찾음으로써 검색 분야의 지배자가 됐다. (81)

구글이 성공할 수 있었던 핵심은 데이터의 양이 아니라 소비자들에게 의미 있는 검색결과를 줄 수 있는 유형의 데이터를 찾아낸 것이라는 사실이다. 처음 알게 된 구글의 성공비결이다. 

https://bandiburi-life.tistory.com/2097

[795]필경사 바틀비_19세기 미국의 유명한 소설가들의 작품 소개

미국에서 가장 유명한 오캘러 경매에는 두 살 난 말 1,000마리가 공개되는데 그중에서 다섯 마리만이 경주에서 우승한다. 나머지 995마리에게는 어떤 일이 생길까? 약 3분의 1은 경주를 하기에는 느린 말로 판명된다. 다른 3분의 1은 부상을 입는다. 대체로 전속력으로 질주할 때의 엄청난 압력을 견디지 못하기 때문이다. (매년 미국의 경마장 경주로에서는 말 수백 마리가 죽는다. 대부분 다리가 부러졌기 때문이다). 그리고 나머지 3분의 1은 바틀비 Bartleby 증후군이라고 부를 만한 증상을 일으킨다. 허먼 멜빌의 뛰어난 단편소설에 등장하는 필경사 바틀비는 "하고 싶지 않습니다"라면서 일을 멈추고 고용주의 모든 요청을 거부한다. 많은 말들이 경마 경력을 쌓은 지 얼마 되지 않아 뛰고 싶지 않으면 뛸 필요가 없다는 점을 깨닫는다. (85~86)

<필경사 바틀비>를 2023년에 재미있게 읽었다. 그 바틀비가 이 책에서 인용이 되어서 반가웠다. 경주마들 중에서도 3분의 1 정도가 바틀비 증후군이라고 부를 정도로 뛰고 싶지 않으면 뛰지 않는다는 사실이 재미있다. <필경사 바틀비>에서 바틀비가 '하고 싶지 않습니다'라고 대답하는 부분이 섣불리 그렇지 못하는 조직에 있기에 부럽기도 했던 기억이다. 

12년 전 그는 큰 돌파구를 찾았다. 세이더는 말 내부 장기의 크기를 측정하기로 했다. 기존 장비로는 불가능했기 때문에 휴대용 초음파 검사기를 만들었다. 결과는 놀라웠다. 심장의 크기, 특히 좌심실의 크기가 말의 성공에 주요한 예측자이자, 가장 중요한 변수였다. 중요한 또 다른 장기는 비장이었다. 비장이 작은 말은 돈을 거의 벌지 못했다. (89)

세이더가 우수한 경주마는 좌심실의 크기가 크고 비장이 크다는 사실을 알아낸 것은 대단한 실적이다. 다른 사람들은 우수한 혈통을 중시하는 가운데 세이더와 그의 동료들만이 좌심실과 비장을 선택의 기준으로 삼았으니 그들이 선택한 경주마들의 성적은 뛰어났을 것이다. 영화 <머니볼>이 떠오른다. 

결과는 놀라웠다. 생장기의 날씨만으로도 와인 품질의 상당 부분을 설명할 수 있었다. 와인의 품질은 '포도 재배 제1법칙'이라고 부를 수 있는 단순한 공식으로 설명할 수 있다. 

가격 = 12.145+(0.00117 x 겨울의 강수) + (0.0614 x 생장기 평균 기온) - (0.00386 x 가을의 강수)

(...) 아센펠터조차 이 회귀분석 결과가 왜 이렇게 나왔는지 정확히 알지 못했다. 하지만 그는 와인을 구매하는 데 이 공식을 이용했고 그에 따르면 "결과가 아주 좋았다". 그가 마시는 와인의 품질이 눈에 띄게 나아졌다. (94)

좋은 와인을 선별하는 기준에 날씨의 영향이 크다는 점을 알 수 있는 회귀식이다. 기본적인 날씨 데이터만 있으면 와인의 가격을 추정할 수 있고 적당한 가격에 품질을 기대할 수 있다. 어떻게 이런 식이 나왔는지 정확히 모르더라도 와인을 살 때 참고하면 결과가 좋다는 사실이 중요하다. 

 

앞에서 본 것처럼 디지털 시대를 맞아 데이터를 이루는 요소에 큰 변화가 일어났고 이 새로운 정보에서 많은 식견이 발견됐다. 무엇이 매체 편향성을 주도하는지, 무엇이 첫 데이트를 성공시키는지, 개발도상국들의 경제가 어떻게 돌아가고 있는지 아는 것은 시작에 지나지 않는다. 수백억 달러를 벌어들이는 브린과 페이지의 회사를 필두로 많은 사람들이 이 새로운 데이터로 많은 돈을 벌어들이고 있다. (126)

데이터를 어떻게 분석하고 그 결과를 어디에 활용하느냐에 대한 식견이 있다면 돈을 벌 수 있는 기회가 무궁무진하다는 사실을 알려준다. 과거의 습관에 익숙해져 당연하게 여기지만 새롭게 누적되고 있는 수많은 데이터는 우리의 삶을 더욱 편리하게 만들어줄 수 있는 기회를 담고 있다. 과거에는 직감으로 해석되던 상황이 구글 트렌드 분석으로 정확하게 알 수 있는 시대다. 

페이스북은 친구들에게 내가 얼마나 괜찮게 사는지 자랑하는 '디지털 허풍약'이다. 페이스북 세상에서 보통의 성인들은 행복한 결혼생활을 하고, 카리브해로 휴가를 가고, <애틀랜틱>을 정독한다. 실제 세상에서는 많은 사람들이 화가 잔뜩 난 채 슈퍼마켓 계산 줄에 서 있고, <내셔널인콰이어러>를 몰래 보고, 수년간 잠자리를 함께하지 않은 배우자의 전화를 무시한다. (179)

페이스북, 인스타그램 등에 올리는 사진을 위해 많은 공을 들이는 사람들이 있다. 현실 세계에서는 만족하지 못했던 새로운 부케를 가상 세계에서 만들어낸다. 가상 세계의 존재와 현실의 존재를 비교할 필요가 없다. 적지 않은 사람들이 '디지털 허풍약'을 복용하고 있기 때문이다. 

여기에서도 성인이 돼서 좋아할 야구팀을 굳히는 가장 중요한 시기가 여덟 살 전후라는 것을 알 수 있다. 전반적으로 5~15세는 아이를 팬으로 끌어들이는 데 가장 중요한 시기다. 19~20세 때 우승한 팀을 미래에 응원할 확률은 여덟 살 때 우승한 팀을 응원할 확률의 8분의 1에 불과하다. (196~197)

미국 프로야구 응원팀을 굳히는 시기가 생애주기로 봤을 때 5~15세 무렵이라고 분석한 결과가 놀라웠다. 초등학교 시기다. 한국에 프로야구가 도입되던 시기가 초등학교 고학년이었다. 딱 그 연령대다. 여전히 당시에 오비베어스를 응원했던 기억이 강하게 남아 있다.

도플갱어 검색, 야구선수의 성적을 예측하는 데 사용했던 그 어떤 방법론보다 훌률한 이 모델은 보스턴이 오티즈를 더 지켜봐야 한다고 말했다. 보스턴은 실제로 나이를 먹고 있는 이 강타자에게 인내를 발휘했다. (...) 2013년 37세의 오티즈는 월드시리즈에서 라인업 예의 세 번째 자리를 지키며 6할 8푼 8리의 타율을 기록했고, 보스턴은 세인트루이스를 4:2로 이겼다. 오티즈는 월드시리즈 MVP에 선정됐다. (230)

도플갱어를 통해 유사한 사람을 분석해서 대응한다는 사실은 처음 접하는 내용이었다. 보스턴 레스삭스의 오티즈 선수가 침체기가 왔을 때 그를 방출할 것인지 결정할 때 도플갱어 분석 결과를 적용했고 결과적으로 그는 37세까지도 보스턴에 큰 기여를 했다. 더 정확한 결과를 얻기 위해 무수한 도전이 반복되고 그 가운데 새로운 기법들이 채용되고 있는 것이다. 

빅데이터는 진정한 인간관계를 찾아낼 수 있는 무작위 실험을 훨씬 더 쉽게 할 수 있게 해 준다. 당신이 온라인에 있기만 하면 언제나 거의 어디에서든지 실험을 진행할 수 있다. 빅데이터 시대에는 세상 전체가 실험실이다. 이러한 통찰은 구글 전체에 그리고 실리콘밸리 전체에 빠르게 퍼졌다. 실리콘밸리에서 무작위 대조실험은 'A/B 테스트'라는 새로운 이름을 얻었다. (242)

구글, 페이스북 등 글로벌 IT 기업들이 수시로 A/B 테스트를 통해 최적의 수익모델을 만들고 있다는 사실을 본다. 과거에는 오프라인상에서 큰 비용을 들여야 할 수 있는 실험을 지금은 피실험자가 인지하지도 못하는 사이에 온라인에서 진행되고 있다. 빅데이터 시대에는 우리가 살아가는 세상 자체가 실험실이라는 말이 실감 난다. 

 

테스트는 인간 본성에 관해 우리가 놓치는 부분을 메운다. 이러한 공백은 언제나 있을 것이다. 인생의 경험을 기반으로 답을 알 수 있다면, 테스트는 가치가 없을 것이다. 하지만 우리는 답을 알지 못하고 테스트는 가치가 있다. (249)

개개인이 이성적으로 합리적이라고 생각하는 방향이 대중의 생각과 다를 수 있다. 그래서 온라인에서 실행되는 여러 테스트는 인간 본성에 대해 알지 못했던 빈 공간을 채운다고 한다. 과거에는 생각할 수 없었던 새로운 테스트 환경이 조성되었다. 

애덤 알터는 <저항할 수 없는 Irresistible>이라는 뛰어난 저서를 통해 현대사회에서 부상한 행동 중독에 관해 이야기한다. 많은 사람들이 인터넷을 끊기가 점점 어렵다고 느낀다. (251)

지하철로 출퇴근을 하며 매일 보는 풍경은 비슷하다. 깨어있는 90퍼센트 이상의 승객들은 스마트폰을 들고 뭔가를 하고 있다. 웹툰을 보는 사람, 유튜브를 시청하는 사람, 카카오톡을 하는 사람, 게임을 하는 사람, 뭔가를 공부하는 사람 등 다양하다. 내 손안에 있는 컴퓨터이기에 심심할 틈이 없다. 엘리베이터 안에서도, 화장실에서도 틀어놓지 않으면 허전함을 느낀다. 행동 중독이다. 

스타이버선트 고등학교 (출처: flickr)

이 경제학자들은 일마즈처럼 단 1~2점 차이로 스타이버선트에 떨어진 학생 수백 명을 조사했다. 연구팀은 이들을 커트라인에서 1~2점을 넘겨 스타이에 붙은 학생 수백 명과 비교했다. 성공의 척도는 AP 점수, SAT 점수, 그들이 입학한 대학교의 순위였다. 놀라운 결과는 그들이 논문에 붙인 제목에서 명확하게 드러난다. 논문 제목은 <엘리트 환상 Elite Illusion>이었다. 스타이 효과? 그런 것은 전혀, 아예 존재하지 않았다. 커트라인에 가까운 학생들은 거의 비슷한 AP 점수와 SAT 점수를 받았으며, 입학한 대학의 순위도 거의 차이가 없었다. (270)

사람들은 자신의 상황에 적응하며, 성공할 사람들은 어떤 상황에서든 장점을 찾는다. 당신을 성공으로 이끄는 요인은 당신의 재능이나 추진력이다. 유명한 학교가 제공하는 유명 인사의 졸업식 연설 등은 해당 요인이 아니다. (272)

결국은 학교가 중요하다기보다는 학생 개인의 노력이 중요하다. 교육 환경이 좋은 학교에 입학하는 자체로 학생의 실력이 향상되지 않는다. 학생 스스로의 학습할 수 있는 능력이 중요하다. 모든 학생들이 자신의 재능이 있는 분야에서 능력을 펼칠 수 있는 환경이 가장 중요하다. 서로 비교하기보다는 자신이 잘할 수 있는 분야에서 최선을 다하고 그 성과를 즐겁게 누리는 사회가 발전하고, 선진국이라 할 수 있다. 우리나라의 현실은 여전히 특정한 능력을 부각시키고 그런 능력이 앞선 사람들이 뭐든 잘하는 것처럼 사회를 이끌고 있어 우려된다. 

더할 나위 없는 아량으로 보일 것이다. 무료로 스테이크를 주다니. 하지만 실제로 이는 자기 잇속을 차리는 행위일 뿐이다. 이 카지노는 고객이 돈을 너무 잃어서 긴 시간 동안 카지노에 발길을 끊는 일을 막으려는 것이다. 달리 말해, 정교한 데이터 분석을 이용해 고객에게서 긴 시간 동안 가능한 한 많은 돈을 짜내려고 노력하는 것이다. (304)

카지노에서 무료로 음식을 주는 것은 모두가 고객의 돈을 짜내기 위한 행위라는 사실을 보여준다. 카지노는 데이터 분석을 통해 고객과 유사한 도플갱어를 분석하고 그들이 견딜 수 있는 손실 마지노선을 추정해서 고객을 케어(?) 한다. 무서운 세상이다. 

달리 말해서 인터넷상의 데이터는 기업들에게 어떤 고객을 피하고, 어떤 고객을 착취할지 알려준다. 또한 고객들에게 반드시 피해야 할 기업이 어디고, 어떤 기업이 그들을 착취하려 하는지 알려준다. 빅데이터는 지금까지 소비자와 기업 간의 싸움에서 양쪽 모두를 도와왔다. 우리는 그것이 공평한 싸움이 되도록 해야 한다. (305)

빅데이터의 세상에서 기업들도 고객들도 현명해지고 있다. 빅데이터를 어떻게 활용하느냐는 기업의 미래를 결정할 정도로 중요해졌다. 

---

독서습관 877_모두 거짓말을 한다_세스 스티븐스 다비도위츠_2018_길벗(240421)

---

■ 저자: 세스 스티븐스 다비도위치

그는 하버드대학교 경제학과 박사과정에 있으면서 특정 검색어의 추세를 보여주는 '구글 트렌드'를 연구했다. 버락 오바마가 대통령으로 당선되면서 많은 전문가들이 이제 인종주의는 사라졌다고 말하던 때였다. 그런데 그가 발견한 것은 전혀 달랐다. (...) 

이 책에는 인종주의뿐 아니라 정신질환, 성생활, 아동학대, 낙태, 광고, 종교, 건강 등 여러 주제에 관한 새롭고 흥미로운 사실이 담겨있따. 스티븐스 다비도위츠는 뉴욕에 살며, 검색창 속에 담긴 사람들의 솔직한 욕망에 관해 <뉴욕타임스>에 칼럼을 쓰고 있다.