2017/04/12 - [IT Marketing/Case Study] - Marketing Case Study - 삼국지 조조전 온라인(2) - 출시 광고 및 이미지

2017/04/12 - [IT Marketing/Case Study] - Marketing Case Study - 삼국지 조조전 온라인(3) - 출시 이벤트(개요)

2017/04/15 - [IT Marketing/Case Study] - Marketing Case Study - 삼국지 조조전 온라인(4) - 50만 다운로드 이벤트

2017/04/15 - [IT Marketing/Case Study] - Marketing Case Study - 삼국지 조조전 온라인(5) - 5만명 카페가입 이벤트

2017/04/18 - [IT Marketing/Case Study] - Marketing Case Study - 삼국지 조조전 온라인(6) - 5랭크 달성 보상



3. 삼국지 퀴즈 이벤트


출처: 조조전 온라인 카페



퀴즈 보상은? CGV영화티켓 2매를 5명에게 증정합니다.

5문제를 풀고 5명에게 증정하는 이벤트면 부담도 없고 매우 적절한 이벤트라고 생각됩니다.


출시 이벤트 중에서 게임 내 상품이 아닌, 실물을 추첨하여 주는 이벤트이기 때문에 비용 소모가 이루어지지만,

큰 비용을 지출하면서 진행하는 이벤트도 아니고 내용 자체도 부담이 없기 때문에 보상 규모나 시기는 적절하다고 판단됩니다.


그렇다면 어떤 문제를 제공하는지를 봐야 되겠지요?


1. 역사 문제입니다.

2. 역사 문제입니다.

3. 게임을 제대로 이용하는 유저들이 풀 수 있는 문제입니다.

4. 게임을 제대로 이용하는 유저들이 풀 수 있는 문제입니다.

5. 게임을 제대로 이용하는 유저들이 풀 수 있는 문제입니다.


보시다시피, 문제는 크게 2가지 유형입니다.

역사공부를 하고, 게임을 이용한 유저들이 풀 수 있어야 하는 것이지요.


왜 이런 식으로 문제를 제공했을까요.


1. 게임을 건성건성하는 것이 아니라 조금 더 신경써서 하면 게임의 재미를 더할 수 있기 때문입니다.

2. 삼국지라는 게임 자체가 삼국지연의 역사를 바탕으로 하였다는 점에서, 역사를 좀 더 알면 흥미 유발이 가능하기 때문입니다.


그리고 문제 난이도는 제가 봤을 때 어려운 문제는 사실 없습니다.

즉 문제를 풀어야 하기 위해서 유저들에게 부담을 주지 않을 수 있는 요소도 포함되어 있지요.



지금 게임이 출시된 지가 6개월이 지났는데, 이런 이벤트는 그 당시 이후 찾을 수가 없었네요.

오히려 다시 열리지 않아서 아쉬울 정도의 이벤트로 볼 수 있겠습니다.

하지만 게임 출시 초창기에 사람들의 흥미유발을 위한 이벤트이기 때문에 단발성으로 진행될 수밖에 없었던 것도 감안해야겠죠.



종합적으로 평가하자면,


A


정도로 하겠습니다.


이벤트의 취지, 문제 내용 및 구성, 난이도, 그리고 상품 규모 및 지급 수준 모두 잘 준비가 되었다고 판단합니다만,

엄청나게 뛰어난 마케팅 수단이다라고 보기는 힘들어서 A+까지는 아니고요.


그래서 A로 하게 되었습니다.


WRITTEN BY
鬼風
생각이 깨어있지 않다면 살아갈 이유도 없다

트랙백  0 , 댓글  0개가 달렸습니다.
secret

어제 와이프하고 더플랜(The Plan) 유튜브 풀영상 봤습니다.

영화 내용이야 뭐 여기 말고 수많은 블로그나 자료 등을 통해서 접하시면 될 것입니다.

그런 관계로 제가 다루고자 하는 내용은, 더플랜에 대한 내용보다는 1.5라는 숫자에 대한 분석을 간단히 해보고자 함입니다.


한가지 주의할 점은, 영화 다른 부분에는 노년층 투표비율이 뭐다 재분류표가 3%이상인것이 이상하다 이런 내용도 있는데.

사실 해당 부분은 원인분석과정에서 추론하기 위한 하나의 과정이였을 뿐이지, 영화의 핵심은 전혀 아니라는 점에서

이 부분들은 글 본문에선 일체 다루지 않겠습니다.




더플랜을 아직 보지 않으신 분들은 이 글의 내용에 대한 이해가 어려울 수 있으니 사전 양해를 바라겠습니다.



제가 올해 초까지 연구했던 부분은 카테고리에도 보셨듯이, Machine Learning과 R Programming이였습니다.

다만 해당 연구를 중단했던 이유(혹은 쉬고 있는 이유)는 연구 좀 하다가 때려친 것이 아니라,

최근에 IT Marketing 관련 부분을 중점적으로 하고 있어서 잠시(?) 쉬고 있는 것입니다.


머신러닝(Machine Learning)의 기본은 결국 빅데이터분석을 통한 기계학습이며,

빅데이터 분석을 위해서 선형회귀, 정규분포 등 여러가지 통계적 기법에 대한 연구가 선행되어야 합니다.


그런 점에서 더플랜에서 나타낸 정규분포 및 1.5는 잠시 중단했던 연구와 관련지었을 때 매우 흥미로운 분석이 아닐 수 없었습니다.


먼저 1.5가 무엇인지를 보겠습니다.




1.5라는 숫자는, 이미 보신 분들은 아시겠지만,

전자개표기에 개표용지를 분류했을 때 정상표에 대한 X후보와 M후보의 비율 대비, 미분류표에 대한 X후보와 M후보의 비율입니다.


아직 안 보신 분들을 위해서는 간단한 캡쳐화면 정도만 추가해 보겠습니다.


사진출처: 더플랜 유튜브 동영상 중 일부 캡쳐



위가 정상표에 대한 X후보와 M후보 득표비율이고, 아래가 미분류표에 대한 X후보와 M후보 득표비율입니다.

이게 문제가 되는 이유는, 정상표의 차이비율과 미분류표의 차이비율이 1.5가 나온다는 것이 

굉장히 말도 안되는 일이기 때문이죠.




말도 안되는 이유 역시 아래 사진을 통해서 살펴볼 수 있습니다.


사진출처: 더플랜 유튜브 동영상 중 일부 캡쳐



수많은 표가 있다면

정상표는 왼쪽 큰 통으로 구슬이 내려갈 것이고, 미분류표는 오른쪽 작은 통으로 구슬이 내려갈 것입니다.

그랬을 때 그 비율은 일반적인 경우라면 일정해야 정상이라는 것이죠.


물론 모든 개표소 별로 동일한 비율이 나온다는 것은 거의 말도 안되는 일일 것입니다.

하지만 251개 개표소에 대해서 정상표 대비 미분류표에 대한 정규분포 비율을 따져봤을 때. 


사진출처: 더플랜 유튜브 동영상 중 일부 캡쳐



정규분포 비율이 1.5가 나온다는 것이죠.



그래서 영화에서는 이렇게 언급을 했었죠.

1. 정규분포가 1.5가 나온다는 것은 일반적인 경우면 절대로 나올 수가 없다.
2. 미분류표는 수기로 분류하기 때문에 조작을 하면 가능하지만, 수많은 참관인과 개표인을 전부 매수하는것은 불가능하다.
3. 그렇다면 기계시스템의 조작이 있기 때문에 이런 결과가 나온 것이다.



그래서 어떤 식으로 조작되었는지를 알려주는 부분도 있었는데.

아마 이 부분을 이해하는 데 어려움이 좀 있었을 것입니다.


저도 사실 한번에 이해 못했고요.


그래서 이해하기 조금 쉽도록 한가지를 준비해봤습니다.

(사실 이것때문에 글을 작성했다고 봐도 될 것입니다.)


바로 아래 그림입니다.









먼저, 정상-비정상이라고 쓴 것은 개표기를 기준으로 쓴 것입니다.



1. 만약 개표기가 정상일 경우(첫번째 그림)


면적이 큰 부분은 정상분류표, 면적이 작은 부분은 미분류표입니다.


1) 정상분류표의 비율을 1:1 이라고 가정해 보고, 득표율 또한 동일하다고 가정해 봅니다.

2) 미분류표의 비율을 1.5:1 이라고 가정해 봅니다.

3) 그렇다면 정상분류표 대비 미분류표 비율은 1.5가 나오겠지요?

4) 하지만 251개 개표소에서 정규분포 상으로 1.5가 나온다는 것은 거의 불가능에 가까운 일입니다.


그러므로 개표기가 정상일 경우에는 저런 결과가 나와서는 안됩니다.




2. 만약 개표기가 비정상일 경우(두번째 그림)


면적이 큰 부분은 정상분류표, 면적이 작은 부분은 미분류검표입니다.

이 부분은 실제 투표를 했을 때 결과를 먼저 동률, 즉 50:50이라고 가정해 보겠습니다.


1) 프로그램 조작으로 인해서 파란색 표가 빨간색으로 갔습니다.
2) 그렇게 하면 정상분류표의 비율을 1:1로 맞출 수 있습니다.
3) 그리고 미분류표를 보니, 빨간색의 비율이 1.5:1 인 관계로 당연히 X가 승리를 할 수 있습니다.
4) 하지만 보시다시피, 저건 명백한 거짓말이죠. 실제 투표를 했을 때 결과는 동률로 이미 가정했기 때문입니다.
5) 오른쪽 비교그림을 볼까요. 개표기가 비정상이라고 판단해서 수기로 전부 다 분류를 했을 때의 결과라고 해봅시다.
6) 오른쪽 그림과 같이 되면 최종 결과는 X:M이 1:1이 가능합니다.

하지만 수기로 분류를 하지 않는다면 결국은 왼쪽 결과와 같이 나타나게 되겠지요.

즉 개표기가 비정상일 경우에는 저런 결과가 나올 수 있습니다.





여기까지입니다.

결론은 매우 간단합니다.

개표기가 정상이라면 정규분포 1.5는 절대로 나올 수 없는 결과이나,
개표기가 비정상이라면 정규분포 1.5는 당연히 나올 수 있는 결과입니다.

그래서 영화에서도 조작임을 언급하고 시뮬레이션까지 조작이 가능하다로 결론이 나온겁니다.


여기서는 정치적 성향을 담은 이야기를 하면 안되기에 전 누구 지지하고 그런것 말은 못합니다.

김어준 라디오방송 들어본적도 없고, 어떤 사람인지도 잘 모릅니다.

다만 한가지 확실한것은.


통계학적, 과학적으로 개표는 조작이 가능하며, 그렇기 때문에

이번 대선때부터는 전자개표분류를 절대로 하면 안된다고 생각합니다.




WRITTEN BY
鬼風
생각이 깨어있지 않다면 살아갈 이유도 없다

트랙백  0 , 댓글  14개가 달렸습니다.
  1. 분류표는 현금개수기로 숫자만 확인하고 책 넘기듯 쫘르르 확인하니 200장당 2-3장 혼표를 어찌 확인할까요. 그런 단점을 잘알고 있는 자는 내부자입니다.
  2. 건달프 2017.04.20 14:47
    설명 내용 중 재검표라는 표현이 혼란을 줄 수 있을 거 같습니다.
    • 그렇군요. 게시물 검토 결과 재검표가 아니라 미분류표로 작성하는것이 올바르네요. 수정 완료했습니다.
      피드백 감사합니다~

  3. 먼저 이 영화에 나오는 논문을 이 링크에 가서 읽어보세요 http://adcarry.egloos.com/2216607
    이 논문은 여러가지 가정을 합니다:

    When the op-scan counters operate properly, only invalid ballots are expected to be sent to the unclassified” (line 82).

    if valid ballots have an equal chance of being unclassified by the op-scan counters regardless of candidates, the K-value should be close to 1” (line 54).

    If valid ballots are unclassified at random, which is fair, the probability of candidate 1 or 2’s valid vote to be sent to the unclassified should be the same” (line 111).

    “A picture of the paper ballot with 7 candidates, which was used in the 2012 election, is shown in Figure 1. The ballot seems to be fair, since all candidates have the same area of boxes beside their names” (line 76).

    Also, while misdistribution in the unclassified can be corrected in stage 2, misdistribution in the classified has little chances to be corrected in this voting system.(line 94)

    As long as the paper ballot is designed fairly as shown in Figure 1, those valid ballots unclassified should be generated at random, regardless of candidate” (line 106).

    그리고 중앙선관위가 영화 '더 플랜'에 대해 공식 입장을 밝혔습니다. 한 번 읽어보시죠.
    http://www.huffingtonpost.kr/2017/04/19/story_n_16094442.html

    이 두가지 내용을 읽어보시면 차이점을 느끼실거에요. 이 논문은 개표기는 미분류표를 random selection하는 것으로 이해하고 있습니다. 하지만 국가는 이 기계는 아리까리한 표를 정해진 골라내니 random selection은 없다고 주장합니다. random selection하는 것이 맞다면 K는 무조건 1로 정규분포 하겠죠. 하지만 제 생각에는 이에 대해서은 정부의 주장이 옳다고 생각합니다. 이 기계는 주어진 역할을 충실히 이행한 것으로 보입니다. 기표는 투표자가 하고 개표는 기계가 할 떄 어떤 한 집단이 기표실수를 하면 기계를 그것을 반영하는 K값을 만들어 낼 수 밖에 없겠죠.

    그리고 1번 투표용지의 프리미엄에 대해선 이미 잘 아려진 사실이고 이로 인해 디자인도 개선되었습니다. 투표용지 디자인상 확율적으로 바드시 미분류표의 1번 지지율이 높은 겁니다. 이 논문은 이 사실을 모르고 있네요. 이 글을 읽어보세요. http://www.nobodylab.net/blog/wp/?p=382

    제가 보기에는 김어준이 이 논문저자에게 중요한 정보중 일부를 제외한 걸로 보이네요. 이 노인설과 디자인설은 잘 알려진 사실이고 이걸 김어준씨가 몰랐을 리가 없는데 왜 이 논문은 이런한 중요한 검증대상에 대해선 말을하지 않는 걸꺄요? 그리고 왜 미분류표가 random selection이고 유효표가 미분류표로 분리되는 것이 오류이고 이 오류의 probability에 대해 말하는 걸까요?

    님의 의견 부탁드립니다...
    • 의견 감사합니다. 제 의견을 요하신다 하니, 답변하겠습니다.
      선관위 답변은 해결책이 되기 아직까지는 어렵다고 판단하고. 크게 세 가지 관점에서 보겠습니다.

      1. 17대대선과 18대대선에 대한 비교문제
      1) 17대 대선의 K값은 1에 근접한 것으로 추정된 반면, 18대 대선의 K값은 1.5로 나타났었죠.
      2) 17대 대선과 18대 대선의 투표용지 디자인은 동일했습니다.
      3) 노년층의 투표 비율은 17대대선이 50대 57.6%, 60대이상 70.3% 이명박이였고, 18대대선도 50대 62.5%, 60대이상 72.3% 박근혜로 나타나서 전새누리당측 후보 초강세인건 동일했습니다.
      4) 심지어 그 당시에는 정동영이 기호 1번이였고, 이명박은 기호2번이였습니다.
      5) 만약에 17대 유효표 인정방식이 18대하고 동일했다면, 표본이 3개밖에 안되긴 하나 K값은 1이 아닌 다른 값으로 수렴을 했어야 정상이라고 생각하며, 3개에서 정상수치가 나온것을 예외적으로 비정상만 가려냈다라고 보는 것은 더더욱 어렵습니다.

      2. 지난 대선 결과를 뒤집거나 좌지우지하기는 어렵고, 이미 지나간 일이고, 대통령도 탄핵되었습니다. 하지만 이번 대선만큼은 수개표를 먼저하고 전자개표를 나중에 해야 할 필요성이 있다는 것입니다.
      수개표를 하면 개표자체가 오래걸리고, 개표감시요원을 전국 투표소에 다 보내야 하는 문제도 있을 수 있겠지만, 한 나라의 대통령을 뽑는 선거를 쉽고 간단하게 해야 할 필요는 전혀 없습니다.

      3. 저같은 IT전공자나, IT 종사자들이 거의 비슷하게 느끼는 점이 있습니다. 모든 기계는 믿을 수 없고, 마음만 먹으면 해킹이 불가능한 시스템은 없다고.
      기계 자체에 하나에 의지해서 모든 결과를 받아들이는 것보다는 수많은 사람의 눈을 통해서 판별해내는 것이 신뢰도가 높다는 것을 나타내는 것입니다.

      사람이 실수를 하기 때문에 기계가 신뢰가 높다고들 하려나요? 오히려 사람이 실수를 하기 때문에 사람이 만든 기계도 실수나 해킹 위험에서 항상 안전할 수 없다고 보는 것이 맞을것입니다.

      과거를 들춰내려는 것보다는, 과거에 의심이 갔던 사례가 재발하지 않기 위해서 보다 나은 해결책이 필요하다는 것이 영화에서 주장하는것이자 저 또한 주장하는 바입니다.
  4. 1. 16, 17대 대선에 대한 자료는 세곳밖에 남아있지 않습니다. 18대 선거에서 K가 1로 나오는 곳도 있습니다. 이에 기반할 때 16, 17대 대선의 표본이 작아 18대 대선과 비교는 무리라 생각합니다.

    2. 김어준이 주장하는 것은 기계가 개표한 것을 사람이 확인해야 함에도 불구하고 이를 잘 하지 않앗다는 겁니다. 사람이 문제라는 거죠. 그런에 김어준은 이 믿을 수 없는 사람이 먼저해야 한다는 거에요. 신뢰가 가지 않는 주장입니다. 제가 보기엔 다음에 기계가 확인할테니 나는 대충해도 되지라는 생각을 할 수도 있다는 겁니다. 혹시 많은 돈 세어보셨나요? 저는 10억에 달하는 돈을 매주 셉니다. 기계가 먼저 세고 사람이 확인하는게 훨씬 정확합니다. 이것이 모든 은행에서 하는 방법이죠.

    3. 저는 김어준이 기계가 해킹가능하단 이유로 수개표를 주장한다면 동의했을 겁니다. 하니만 그는 자신이 통계학적으로 해킹을 증명했다 합니다. 하지만 증명한 것은 K가 1이여야만 하는 가정을 깐 것이죠. 이 시도자체가 미분류 중 박근혜의 표가 6:4의 비율로 높았다는데서 의문을 가지기 시작한 것입니다. 즉, K 1.5는 6:4의 다른 표현일 뿐입니다. 한마디로 여기에 random selection은 없고 이 논문은 이 random selection이라는 전제를 깔고 있으니 논문의 결론은 기각됩니다.
    • 물론 세 곳밖에 나오지 않았기 때문에 있는 그대로 믿을 수는 없겠죠. 그래서 영화에서는 저것을 가지고 그대로 밀고 갔다라고 보기는 어렵습니다.

      매주 돈을 센다고 하니까 은행에서 일하시는분이신가보군요. 뭐 직종 직업을 굳이 따지고 글 그럴 생각은 전혀 없고요. 말그대로 대충해도 될 수도 있다는 사람들이 있을 수 있으니 참관인을 별도로 둘 필요는 있습니다. 물론 그렇게 해서 센다면 그 수많은 사람들을 매수하거나 그럴 수는 없을것이니, 극히 일부의 사람들만 잘못 세겠죠.
      그리고 개표기로 재분류한다면 어차피 이미 분류가 어느 정도(제 개인적으론 정확도 95% 이상을 가지고) 된 상태에서 분류를 할 것이니 잘못된 것만 분류가 가능하죠. 그러면 굳이 개표분류기를 가지고 해킹을 하거나 시도를 하는 것 자체가 완전히 무의미해집니다.
      어차피 해킹만 안된다면 기계 자체는 아무 문제가 없기 때문에 사람들이 실수할 수 있는 부분을 정상적으로 분류할 수 있습니다.

      K값이 1.5라는 것은 6:4의 다른 표현이지만, 5:5하고 6:4의 차이는 엄청난 차이이죠.

      사실 17대 18대 대선을 비교하면서 어렵게 생각할 것도 없고, 논문에 대한 판단도 관련 분야 전문가들이 하는 것이기 때문에 저희같은 일반인들이 왈가왈부할 것도 없어요.

      그리고 통계자료를 조사하는 사람들도 바보도 아니고 통계값이 이상하게 결과가 나왔다면 오히려 조사 의뢰를 했던 김어준한테 표본 대상이 잘못된 것이 아니냐, 독립변수 종속변수 설정에 부족한게 있는 것이 아니냐 오히려 되물었겠죠. 그런데도 불구하고 논문 제출을 그대로 했다는 것은 여러 가지 근거자료나 관련 변수가 충분했다고 판단했기 때문이였을 것이며, 그것이 기각이다 인용이다를 판단하는것도 전문가들이 할 것입니다. 발표는 어쨌든 이미 되었으니 알아서들 판단하겠죠.

      그런 점에서 저는 일단 논문을 믿어보기로 한것이고, 해당 관점에서 블로그에 글도 써본 것이고.

      선진국이 개표방식을 전자개표로 했다가 수개표로 바꿨답니다. 우리나라는 우리만의 방식이 있기 때문에 바꿀필요 없다고 할수도 있지만, 우리나라는 상당한 정치 후진국이라서 바꾸지 않았다는 생각이 더더욱 드네요. 그런 점에서 개표방식 변경도 더불어 주장하는 것입니다.
  5. 김어준이 말하는 외국의 전자개표란 그야말로 전자시스템입니다. 종이가 없이 투표소에 가면 컴퓨터나 터치스크린이 있어 거기에 투표하는 거죠. 우리가 하는 기계분류기와는 전혀 다른 개념이지요. 그리고 외국에서 오류율이 1%인데 우리는 왜 4%냐도 말도 안되는 소립니다. 정부가 밝힌 입장에 나오듯이 미분류율과 오류율은 전혀 다른거죠. 사실 우리나라에서는 미분류율이 높으면 기계가 더 sensitive하다는 거죠. 조금이라도 분쟁의 소지가 있는 표는 사람이 구분하게 하는거에요. 더 sensitive하면 더 좋은거라 볼수도 있죠. 오류하고는 전혀 다른 개념이죠. 이제 김어준의 조작론도 지겹습니다. 아무리 조작론으로 먹고산다고 해도 이건 너무하네요.
    • 본문 거의 맨 위에도 있지만, 재분류가 3%이상이 나왔다 이런것은 사실 저 영화의 논점은 아닌것같아요 그냥 의문제기과정에서 나온것일뿐이고, 의문을 해소하는데 실질적으로 도움을 준 것이 없다는것은 인정합니다.

      그리고 당연히 기계도 아무 문제는 없어요. 해킹만 안된다면.

      사실 전 김어준이 그동안 무슨소리했는지 크게 관심도 없었고 잘 보지도 않았습니다. 하지만 진짜로 뭔가를선동하려는목적을 가졌다면 국가내란죄 내지는 다른 죄를가지고 감방을 가겠죠. 그것도 향후 두고 볼 부분이고요.

      한국정치는 굉장한 후진국입니다. 경제발전은 10년이면 해도 정치발전은 절대로 빠르게 이루어질수가 없어서요. 심지어 이번 비선실세건도 터졌고. 평소에 정치적 의견을 굉장히 많이 내는성격이라 가급적 이 블로그만큼은 정치관련된 글은 자제하려고 하는중입니다만.. 한국정치는 너무 신뢰를 하면 안될것 같아요. 물론 개인 생각일 뿐입니다.

      글 달아주셔서 수고하셨어요
  6. 영화를 볼땐 이해가 갔다가, 끝나고 지인들에게 설명하려니 헷갈려서 다시 봐야하나 했는데 핵심요약해주셔서 이해에 도움이 되었어요! 감사합니다^^
    중요한건 공정한 개표죠! 부정선거가 또 되풀이된다면 이게 나라입니까, 정말....
    • 도움이 되셨다니 다행입니다~~
      누가 대통령이 되느냐도 중요하지만, 온국민들의 의심을사지 않을수있는 개표도 중요한것같아요 ㅎ
      감사합니다~
  7. 이재한 2017.04.29 01:19
    가장중요한것은 표본추출하는것과 미분류표를.수집하는 개념은.다른데 같이 보니까 이런 오류가.나는듯합니다. 여기서 k값이 1.5라는것은.일반.공장에서 ㅊ표본추출하는것과.조건이.완전히.다르지요.
    같이비교할수.없는것을.비교하는.엉터리.논문입니다.
  8. 이재한 2017.04.29 01:19
    랜덤 셀렉션이 안되었다는이야기이지요
secret