一期一會

(한줄 요약: "논객"의 많은 주장은 단순한 주장일 뿐 과학적 사고능력에 바탕을 둔 통찰이 아니다. 기본적인 A-B테스트도 하지 않았고, "자크 라캉 식 논증"을 한다.)

1. 마케팅 효과를 어떻게 측정 하였는가? "논객"은 "넷드링킹 서평"이 해당 신간의 판매량에 도움이 안된다고 하였는데 이를 어떻게 확신할 수 있을까? "넷드링킹 서평"이 없었을 때의 책 판매량은 평행우주에서나 관측 가능하다. 이를 반사실(conuter-factual) 연구라고 하는데, 해당 신간의 판매량이 초기 별로 많지 않았을지 몰라도 "넷드링킹 서평"이 없었다면 판매량이 더욱 적었을 수도 있다. 다행히도(?) 해당 신간은 현재 베스트셀러에 올라있는데, 과연 "논객"이 "넷드링킹 서평"외의 다른 마케팅을 잘 해서인지, 아니면 "넷드링킹 서평"이 있었기 때문에 가능한 것인지 원인을 확실히 분리 할 수 없다. 제대로된 연구를 하려면 적어도 20권 가량의 서로 다른 신간을 비슷한 시기에 마케팅하면서 다른 조건을 똑같이하고 단 한가지 요소 "넷드링킹 서평"만 바꾸어 보아야한다. 20권 중 무작위로 10권에만 "넷 드링킹 서평" 마케팅을 더하여 이 효과를 확인해봐야하는 것이다. 평소 "논객"은 꾸준한 독서와 독해력 향상을 권하곤하는데 "논객" 본인은 과연 얼마나 독서를 하는지 모르겠다. 많은 책을 읽었고 학부와 대학원에서 공학을 전공하였는데 이런 기본적인 실험 방법에 대해 잘 모르고 계신 것 같다. 문해력 만큼 중요한 것은 과학적 사고능력이다. "논객"이 소셜미디어에서 나를 차단하신 관계로 이글을 보시지 못할 가능성이 높지만, 혹시 보시게 되면 "A-B 테스트"라는 검색어로 한 번 공부해보시기를 권한다.

2. "넷드링킹 서평" 사건 이전에 "논객"이 소셜미디어에서 유명인사(?)가 된 것은 바로 그가 집필한 "빈도기반 영단어장" 덕분이었다. 2016년에 처음 "빈도기반 영단어장"이 출간 되었을 때 많은 언어학, 영어교육학 관련 전공자/종사자("전공자")들이 비판을 했었다. "논객"의 주장은 "빈도기반 영단어장"은 영문에서 사용되는 빈도를 기반으로 정리한 영단어인데, 사용 빈도는 거듭제곱분포(멱함수)를 따른다고 설파하고는 했다. 이에 관련 "전공자"들은 빈도에 기반한 연구는 이미 있었고, "논객"이 사용한 접근 방법에 있는 오류를 지적했지만, "논객"은 '복잡계는 팩트이고, 이 멱함수 기반 영단어장으로 얼마나 많은 학생들이 영어 실력이 향상되었는지 아느냐'는 논조의 반박을 하며 "전공자"들과의 논쟁을 끝내기 위해서 소셜미디어에서 "전공자"들을 차단했다. 논쟁/토론 매너에 대한 비판은 제쳐두고 다시 한 번 과학적 사고능력에 대해서 이야기해 보자.  "빈도기반 영단어장"을 만들면서 영단어의 빈도를 분석한 선행 연구를 확인하지 않은 것은 대학원에서 공학을 연구한 사람의 자세가 아니다. 뿐만 아니라,  "빈도기반 영단어장"의 유용성을 입증하기 위해서 이를 통해 영어 공부한 이들의 실력 향상에 대해서 항상 강조하는데 선택편향 오류가 있다.  "빈도기반 영단어장"을 기획 할 때에 학생을 모집하여 출간을 위해 영단어를 정리하며 외우게 하고 영어실력도 향상 시켰다고 했던 것으로 기억하는데, 이미 영단어장 만들기 프로젝트에 지원할 학생이라면 영어 공부에 대한 동기 부여가 강했을 것이다. 따라서 영어 실력 향상이 강한 동기 부여 덕택인지  "빈도기반 영단어장"으로 공부했기 때문인지 확인 할 수 없다. 이를 검증하기 위해서는 1번에서 설명한 것과 같이 20명의 영단어장 만들기 프로젝트 지원자에 대해서 10명씩 무작위로 나누어서 절반은  "빈도기반 영단어장"으로 공부하게 하고 나머지 절반은 다른 영단어장으로 공부하게 하여 그 효능을 비교해야한다. 뿐만 아니라, "논객"은 본인의 소셜미디어에서  "빈도기반 영단어장"으로 영어실력을 향상한 학생들의 후기를 찾아 올리고는 하는데, 다른 방식으로 영어실력을 향상한 사람하고도 비교해야하지 않을까. 물론 "논객"이 영어 공부하려는 생각을 가졌던 학생들에게 영단어 외우는 목표를 달성 할 수 있도록 독려하는 능력이 평균 이상이었다고 할 수는 있겠다. 

3. "논객"의 주장이 A-B 테스트로 검증하지 않은 단순 가설(단순한 주장)일 뿐만 아니라, 그의 주장에는 학술 용어를 오독하는 경우가 종종 있다.  아래는 논객이 소셜미디어에 게시한 내용을 발췌한 것이다.

"내가 그래서 혹평을 한 사람에게 멱법칙이 무엇인지는 아는지 물어봤다. 그런데 돌아온 대답은 그것이 무엇이 중요하냐고 크게 의미 없다는 것이다. 하............. 여기가 정말 말로만 듣던 문해력 2급의 나라인가....... 우리나라 최고의 물리학자 중에 한 분이신 최무영 교수님의 말을 인용하면 '20세기는 기계론적 결정론과 환원주의 시대였다면 21세기는 복잡계의 시대이다.' 그리고 그 복잡계의 핵심에는 멱법칙이 있다."

우선 최무영 교수님은 복잡계를 연구하는 분인데, 정확히는 강한 상호작용하는 계(strongly correlated system)을 연구하신다. 학술적 용어로 설명하자면 해밀토니안이 쉽게 분리되지 않아서 계(system)를 설명하는 방정식을 풀기가 까다로운 경우를 말한다. 혹은 계를 설명하는 방정식이 선형근사(환원)를 통해 쉬운 방정식으로 변환하기 어려운 경우를 말한다. 이러한 견지에서 최무영 교수님이 하신 말(굵은 글씨)을 의역하자면 "20세기는 계를 설명하는 방정식을 선형근사를 통해 쉬운 방정식으로 변환할 수 있는 문제를 집중적으로 연구했다면, 21세기에는 그렇지 않은 복잡한 방정식으로 설명되는 계를 연구하게 될 것입니다"라고 할 수 있다. 이는 평소 "논객"이 인문사회현상은 복잡계다라고 주장하는 논지와는 딱히 맞닿아있지 않다. 단지 최무영 교수님이라는 엘리트의 말을 "논객"의 주장에 병기하여 본인이 주장이 그럴듯하게 들리게 하려고 했을 뿐이다. "논객"의 주장은 "복잡계가 중요하다고 교수님이 말했다 => 멱함수 분포가 복잡계의 핵심이다 => 멱함수 분포를 사용한 '빈도기반 영단어장'이 최고다"와 같은 흐름인데 이는 단순히 교수님, 복잡계, 멱함수 분포와 같이 논지와 관계 없는 전문 용어를 빌어 "빈도 기반 영단어장"의 우수성을 증명하려는 것이다. 2번에서 설명하였듯이 "빈도 기반 영단어장"의 우수성은 영어 실력을 향상 시키려는 학생들 대상으로 A-B테스트를 통해서 입증해야한다.

4. 이어서 한 가지더 말하자면 "논객"은 평소 나심 탈레브의 저작을 추천하며 "안티프래질"이라는 개념을 소개하며 "안티프래질은 외부 충격이 왔을 때 더 강해지는 조직 운영 방법 혹은 체계"를 말한다면서 본인과 주변의 동조자들은 "안티프래질"하다고 재삼 강조한다. 과연 안티프래질은 무엇일까? 김영준 작가님의 해설을 인용하면 아래와 같다.

"블랙스완은 예측할 수 있는 사건이 아니다. [안티프래질]은 이 블랙스완을 대비하는 도구로서 의미가 있다. 안티프래질의 핵심은 보상의 비대칭성, 과잉보상이라 이야기 할 수 있다. 이를 통해 블랙스완의 상황에서 과잉보상으로 블랙스완적 상황을 상쇄하는 것이다. 이를 위해 탈레브는 시스템의 과잉보상(안티프래질)을 구축하기 위해서라면 세부적인 부분에선 프래질하게 놔둘 필요도 있다고 이야기한다. 좀 쉽게 이야기하자면 극단의 사고를 대비하기 위해선 정규분포상의 사고는 용인하란 이야기다. 작은 사고에서의 손해를 통해 극단적 사고를 줄일 수 있으니 그 정도면 싸게 먹힌단 얘기. 작은 사고와 손해조차 용납하지 않으면 결국 그 세계를 무너뜨릴 블랙스완이 도래하게 된다. 안티프래질이 가진 보상의 비대칭성은 이처럼 중요한 것이지만 이 비대칭성을 악용해 나의 작은 이익을 위해 사회의 손실을 감수하게 해서는 안된다. 이 문제를 다룬 것이 바로 [스킨 인더 게임]이다. 타인에게 조언을 하면 그 책임을 지란 것이 이 부분의 핵심이다. 이익만을 사유화하고 결과를 책임지지 않으면 그것이야말로 사회와 시스템을 프래질하게 만든다."

예를 들자면 예측 모델의 과최적화가 있다. 예측 모델을 만들 때 사용하는 특정 입력 데이터에 대해서만 예측 확률을 높이려고 들면, 예측 모델을 다른 데이터(out-of-sample)에 대해 적용할 때에 전혀 엉뚱한 답을 내놓게 된다.  다른 예로는 미국의 소셜 시큐리티(사회부조연금) 부정 수급액이 연간 3억 달러라고 할 때에 세금 낭비를 막기 위해서 부정 수급이 없도록(0 달러)하려면 이를 부정 수급 여부를 조사하는 조직이 비대해져서 연간 예산이 5억 달러가 추가적으로 필요 할 수도 있다. 이것이 바로 특정 변수에 대한 과적합(과최적화) 상태인 것이다. 부정 수급액을 0으로 만들기 위해 다른 곳에서 손해보는 "프래질"한 상황이 된 것이다. 이를 종합하자면 "안티프래질"이란 과최적화의 방지 혹은 범용성이라고 할 수도 있겠다. 이렇듯 "논객"은 부정확하게 학술용어를 사용하며 본인의 주장을 펼치고는 한다.