이것으로 '셧다운제 효과'에 대한 논란이 정리되기를 바랍니다.
게이머들이 직관적으로 알던 것을 연구자들은 객관적으로 증명하려 했습니다. 셧다운제 실시 전후의 데이터를 비교한 6개의 연구 모두 셧다운제가 쓸모 없다는 결론에 일치합니다.
10여 간 게임업계에 종사하다 학계로 진출한 경희대 유창석 교수가 셧다운제 관련 논문을 분석해 디스이즈게임에 이같은 ‘사실’을 기고문 형식으로 전해왔습니다. /편집자 주
TIG 2021 셧다운제 특집
① 2004~2021, 셧다운제의 역사를 돌아보다 (바로가기)
② 셧다운제 폐지, 정말 게임 업계의 오랜 숙원일까? (바로가기)
③ 여성가족부 해체, 셧다운제 폐지에 도움이 될까? (바로가기)
④ 셧다운제? 최종 보스는 따로 있다 (바로가기)
⑤ '우마공' 전현수 매니저를 만나다 (바로가기)
⑥ 셧다운제 실효성 논란, 제대로 종결시킨다
⑦ 두 개의 셧다운제... '게임시간 선택제'도 문제? (바로가기)⑧ 선생님들, 게임은 해보셨습니까? (바로가기)
2011년 도입된 셧다운제는 명확한 논리구조를 가지고 있다.
(1) 청소년들이 게임을 많이 이용하는 게 문제가 있다
(2) 규제를 통해 청소년들의 게임 이용시간을 줄이자
(3) 게임이용시간이 줄어들면 청소년들의 수면시간이 증가할 것이다
(4) 게임이용시간이 줄어들면 청소년들의 게임중독비율이 감소할 것이다
비셧다운제의 정책 가설. (가급적 일반적인 연구자들이 좋아하는 형식으로 그림을 구성)
게이머 입장에서는 (1)번부터 심각한 문제가 있음을 알고 있을 터이며, (1)번에 대해서는 여러 학자들이 문제점을 지적한 기사가 다수 존재하므로 이번 기고문에서는 다루지 않을 예정이다.
(2)번부터 (4)번까지에 대해 정책의 도입 전에 살펴보면 좋았겠지만, 이미 셧다운제는 시작됐고 여전히 유지되고 있기 때문에 (2)번부터 (4)번까지 실제로 만족하는지 검토하는 것은 큰 의미가 있을 것이다.
이런 생각으로 2019년에 연구를 시작했는데… 이미 필자보다 부지런한 연구자들이 2013년부터 지금까지 국내외 학술지에 9편 정도의 연구를 발표한 것을 발견하고 말았다 이 중 2명은 개인적으로도 친분이 있는 연구자라 더욱 더 반성하게 됐다. 그리고 이렇게 반성하는 과정에서 알게 된 그동안의 연구결과를 조금 더 쉽게 정리해 본 기고문에 전달하고자 한다.
연구결과를 보기 전에 최근 정책분석의 방법에 대해 먼저 살펴볼 필요가 있다. 전통적으로 어떤 정책이 도입되고 나면 그 정책의 시행 전과 후를 비교해 효과를 분석했다. 그런데, 이러한 사전-사후 비교 방법은 심각한 문제가 있다. 사후 효과가 정말로 정책에 의해 발생한 것인지, 아니면 다른 요인으로 인한 것인지를 알 수가 없다.
이에 대한 보완책으로 정책과 상관없는 대상(대조군)을 따로 선정해 정책대상(실험군)과 비교한다면 시행 후 발생한 변화와 정책의 연관성을 좀더 잘 확인할 수가 있다. 이러한 비교는 쉽지는 않지만, 정책 시행으로 인해 우연히 이러한 비교가 가능한 상황이 생기는 경우가 있는데, 이러한 경우를 ‘준실험설계(quasi-experimental design)’라고 부르며, 셧다운제가 대표적인 상황에 속한다.
실험설계를 위한 구조 (이런 상황을 연구자들이 좋아합니다)
셧다운제의 경우 이러한 준실험설계를 활용한 고급분석이 다음과 같이 6편이나 발표되어 정책연구를 하는 사람들에게는 축제의 장이 되어버렸다.
[1] 박문수, 고대영, 박정수 (2013), 게임시장의 규제가 산업생태계 발전에 미치는 영향과 시사점, 산업연구원
[2] 김민석 (2015), 게임 셧다운 정책이 청소년 게임 이용행태에 미치는 영향 연구, 서울대학교 행정학과 석사학위 논문
[3] 박미경, 김민길, 정주호, 조민효 (2016), 셧다운제의 효과성 평가, 국정관리연구, 11(3), 171-197
[4] Lee, C., Kim, H., & Hong, A. (2017), Ex-post evaluation of illegalizing juvenile online game after midnight: A case of shutdown policy in South Korea, Telematics and Informatics, 34(8), 1597-1606.
[5] 홍성협 (2017), 게임 셧다운제가 청소년의 게임시간, 수면, 여가활동 등에 미치는 효과분석, 한양대학교 경제학과 석사학위 논문
[6] Choi, J., Cho, H., Lee, S., Kim, J., & Park, E.-C. (2018), Effect of the online game shutdown policy on internet use, internet addiction, and sleeping hours in Korean adolescents, Journal of Adolescent Health, 62(5), 548-555.
이상 6개 논문은 적용한 방법론이나 준실험설계도 약간씩 다르고, 적용한 데이터 세트도 차이가 있어서 이들 연구를 흥미롭게 읽을 수 있었다. 이들 연구의 결과를 요약해보면 다음 표와 같다.
셧다운제의 청소년 게임 시간 감소효과는 있다고 말하기도 없다고 말하기도 애매한 상황이다. 수면시간 증가에 대해서는 효과가 없다는 의견이 우세하고 게임중독 감소는 효과에 대해서는 재검토가 필요한 상황이다. 하지만 셧다운제의 정책효과가 통계적으로 성립한다고 발표한 연구자조차도 그 효과의 크기가 너무나도 미미해서 의미있는 효과를 내지 못하고 있다고 이야기하고 있다.
# 셧다운제 효과 1: 셧다운제는 청소년 게임이용시간을 감소시켰을까?
결과가 애매하지만 셧다운제는 청소년 게임이용시간 감소에 큰 의미가 없었다고 확실하게 이야기할 수 있다.
셧다운제 도입이 청소년 게임이용시간을 감소시켰는지에 대해 6개의 연구결과들은 각기 다른 값을 내놓고 있다. 전체적으로는 2개의 연구(Lee, Kim & Hong, 2017; Choi et al., 2018)가 셧다운제의 도입으로 인해 청소년의 게임이용시간이 감소했다고 보고했으며, 다른 연구들은 청소년의 게임이용시간에 변화가 없었다고 보고했다. 여기서 굳이 ‘전체적’이라는 표현을 삽입한 것은 전체적이지 않은 경우, 결괏값에 변화가 있기 때문이다.
전체적으로 의미가 없다고 발표한 4개의 연구 중 2개는 남성과 여성을 분리해 정책적 효과를 비교했다. 그 결과 여성의 경우 셧다운제 도입으로 인해 청소년 게임이용시간이 감소했으나, 남성은 오히려 게임이용시간이 증가했다. 효과가 있다고 발표한 Lee et al. (2017), Choi et al. (2018)의 연구도 셧다운제는 여성에게는 효과가 있었으나 남성에게는 효과가 없었다고 보고했다.
가장 최근에 진행한 Choi et al. (2018)의 연구는 셧다운제 정책을 단기(2012, 2013) 및 중기(2014, 2015)까지 비교했다. 단기에는 셧다운제로 인한 게임이용시간 감소 효과가 있긴 했지만 주간 이용시간이 평균적으로 2012년에는 3.6분, 2013년에는 3.2분 줄어 의미있는 수준의 감소라고 하기 어려우며 이나마도 2014년 이후에는 효과가 사라졌다고 보고했다.
# 셧다운제 효과 2: 셧다운제는 청소년 수면시간을 증가시켰을까?
청소년 수면 시간에 대해서는 3개의 연구만 결과를 보고했는데, Lee et al. (2017)은 셧다운 정책으로 인해 수면시간이 증가했으나, 증가한 시간은 1.5분이여서 의미 있는 수준이라고 말하기 어렵다고 보고했다.
그나마 남성은 수면시간이 감소했으며, 여성만 수면시간이 증가했다고 보고했다. Choie et al. (2018)은 2012년의 경우 셧다운 정책으로 인한 수면시간의 증가는 없었으며, 오히려 2013년 이후 수면시간은 감소했다고 보고하고 있다. 홍성협(2017)은 셧다운제로 인한 수면시간 변화는 없었다고 보고했다.
결론적으로 셧다운제로 인한 수면시간의 변화는 미미(1.5분)하거나 거의 없다고 이야기할 수 있겠다.
# 셧다운제 효과 3: 셧다운제는 청소년의 게임중독을 줄였을까?
청소년의 게임중독을 데이터 세트에 포함한 건 KYRBS(한국 청소년 위험행동 설문조사)가 유일하기 때문에, KYRBS에 기반한 두 개의 연구만 셧다운제를 통한 게임중독의 효과를 검토했다.
Lee et al. (2017)은 셧다운제로 인해 게임중독이 소폭 감소하였다고 보고했으나 이러한 변화는 여성에게만 관찰되며, 남성에게서는 게임중독 비율의 변화가 관찰되지 않았다. Choi et al. (2018)은 단기적으로는 게임중독 비율에는 유의미한 변화가 없었으며, 장기적으로는 미미하긴 하지만 오히려 증가하였다고 밝히고 있다.
단 두개의 연구만 셧다운제와 청소년의 게임중독 비율에 대한 효과를 다루고 있기 때문에 이에 대해 결론을 내리기는 조금 이르다고 보인다. 하지만 게임이용량의 변화가 미미하였음에도 불구하고 게임중독에 관련된 변화가 나타난 것은, 그것도 단기적으로 변화가 나타난 것은 설명하기가 참 어렵다. 이를 조금 더 직관적으로 볼 수 있는 것은 Choi et al. (2018)의 실험군과 대조군의 시기별 게임이용시간 및 게임중독자 비율 변화 그래프이다.
셧다운제 전후 게임이용시간 및 게임중독자 비율 변화 - Choi et al. (2018)
2012년 셧다운제로 인해 사회적으로 게임이 이슈가 되면서 게임이용시간이 실험군과 대조군 모두 감소했고, 이러한 감소폭이 정책대상이 되는 실험군에서 더 크게 나타났다. 하지만 2013년이 되면서 감소된 수치들은 정상화됐고 그 이후 더욱 더 증가하는 양상을 볼 수 있다. 이러한 변화는 셧다운제가 정책적으로 효과가 있어서라기보다는 셧다운제로 인해 발생한 게임에 대한 부정적 인식이 단기적으로 게임과 관련된 지표들을 변화시킨 것으로 추정된다.
그래프에서 보이듯이 장기적으로는 오히려 셧다운제 대상이 되는 15세 이하 집단의 게임시간과 게임중독 비율이 모두 증가하는 것으로 나타나고 있다. 이러한 증가가 셧다운제로 인한 것이라고 말하기는 어려워보이므로 사실상 셧다운제는 게임중독비율에 유의미한 영향이 없었다고 보는 것이 좀 더 타당한 설명이다.
# 결론: 셧다운제 정책은 효과가 없었다
무엇보다 이 결론은 기고자의 개인적 의견이 아니라 셧다운제 정책을 실증적으로 분석한 연구자들이 자신의 연구결과를 바탕으로 공통적으로 주장한 내용이라는 것을 밝히고 싶다. 셧다운제 정책의 효과를 가장 긍정적(?)으로 평가한 Lee et al. (2017)은 셧다운제 정책에 대해 다음과 같이 이야기하고 있다.
“셧다운제의 주요한 효과(게임이용시간 감소와 게임중독비율 감소)가 통계적으로 유의하게 나타났지만 그 크기가 미미하여 셧다운제라는 정책으로 인해 발생하는 기본적인 인권의 침해와 게임산업에 대한 부적절한 규제로 인해 발생하는 (낙인효과와 갈은) 부작용을 상쇄시킬 만한 효익이 있다고 보이지 않는다. (중략) 이에 따라 셧다운제 정책의 효능에 대해서는 의구심이 든다.”
셧다운제 정책을 준실험설계에 기반해 연구한 학자들 모두가 셧다운제 정책은 효과가 없었다고 분명하게 밝히고 있다.
사실, 셧다운제 정책효과 분석을 통해 밝혀지고 있는 사실은 단순히 이 정책이 효과가 없었다고 간단하게 이야기하기 어렵게 만든다. 셧다운제라는 규제는 게임을 많이 하는 청소년에게는 효과가 없었으며, 게임을 적게하는 집단에게만 유효하게 발생했다. 남성에게는 효과가 없으며, 여성에게만 효과가 있었다. 학교 성적이 낮은 청소년에게는 효과가 있었으며, 학교 성적이 높은 청소년에게는 효과가 없었다.
또한, 셧다운제를 통해 진행된 게임이용시간에 대한 연구에서 부모의 소득수준과 교육수준이 높고, 청소년에 대한 부모의 학습지원이 잘 이루어지는 청소년은 게임이용시간이 낮은 것을 보여주고 있다. 청소년의 과도한 게임 시간은 원인이 아니라 결과이다. 그리고 청소년의 높은 게임이용시간은 사회적 구조로 인해 발생했을 가능성이 높음을 이러한 분석결과가 보여주고 있다.
인간은 놀이, 여가가 없이는 살 수가 없는 존재이다. 특히 한국의 여가문화에서 게임이 큰 부분을 차지하고 있는 것은 게임이 문제여서가 아니라, 게임이 가장 저렴하고 손쉬운 도구이기 때문이다. 아무리 게임을 좋아하는 아이라 하더라도 부모와 함께 놀까? 아니면 게임 할래?라는 선택지에서 대부분 부모와 함께 노는 것을 선택한다. 청소년들이 게임을 많이 한다는 것은 그만큼 이 시대의 부모가 아이들과 함께 놀 여유가 없다는 것을 보여주는 것은 아닐까? 아이들에게 게임을 규제하기보다는 부모가 여유가 없는 상황을 규제하는 것이 더 나은 정책이 아닐까 조심스럽게 생각해본다.
기고: 경희대학교 문화관광콘텐츠학과 유창석 교수
자원경제학/기술경제학 박사이며 CJ, 넥슨, 엔씨소프트 등 게임 및 콘텐츠 회사들을 10여년간 다닌 경험을 바탕으로 게임 및 콘텐츠 정책을 연구하고 있다. 본인이 관심을 두는 주제는 몇 년안에 떡상하지만, 연구 결과는 떡상하기 전에 나오지 않는다는 ‘심각한’ 징크스를 가지고 있다.
연구를 하다보니 하나의 연구가 완성되는 기간(짧으면 1년, 길면 5년도 걸린다)이 예전에 보고서 만드는 기간(3개월)과 차이가 있다는 것을 납득한 이후에는 징크스와 상관없이 소소한 일상을 즐기며 연구에 매진하고 있다. 이 징크스로 인해 작성하고 있던 셧다운제 논문이 완성되기 전에 셧다운제 폐지가 논의되고 있어 부랴부랴 이 기고문을 작성하게 되었다는 것은 우리끼리의 비밀로 남겨두었으면 한다.
