학생 330만 명이 거둔 0.01 표준편차의 효과
2026년 11월 17일 하버드 대학교 교육정책연구센터(CEPR)는 다트머스 대학교 및 평가 기관 NWEA와 공동으로 ‘States Leading States’ 프로젝트의 첫 연구 논문을 발표했다. 표본은 초등학교 4학년부터 고등학교 1학년까지 4,600개 학교의 학생 330만 명에 이르며, 지난 5개 학년도에 걸친 수학과 읽기 성적을 추적했다. 핵심 결론은 단순했다. 엄격하게 시행된 스마트폰 금지령이 학업 성적을 끌어올린 것은 사실이지만, 그 상승 폭은 0.01 표준편차에 그쳤다는 점이다.
표준편차는 전체 학생의 점수 분포 폭을 나타내는 통계적 척도로, 대다수 학생은 평균을 중심으로 위아래 2개 표준편차 범위 안에 들어간다. 0.01 표준편차는 이 전체 분포의 100분의 1에 불과하며, 연구진의 자체 환산에 따르면 학생 1명당 매년 1~2주의 수업을 추가로 들은 정도에 해당한다. 330만 명이라는 표본 크기는 미세한 실제 효과도 감지해낼 만큼 방대하다. 이처럼 거대한 표본에서 포착된 수치가 이것뿐이라면, 정책 효과 자체가 그만큼 미미하다는 뜻이다.
연구진은 과거 데이터를 바탕으로 한 가지 비교 기준을 제시했다. 미국 학생들의 학업 성취도는 2013년부터 논문에서 ‘완만한 누수(slow leak)‘라 표현한 장기 하락세에 접어들어, 매년 23주에 달하는 학습량이 사라졌다. 중학교 2학년(8학년)에 이를 무렵에는 누적 결손이 거의 1개 학년 전체 수업량에 맞먹었다. 금지령을 통해 회복된 12주는 매년 발생하던 손실의 절반가량을 메운 셈이다. 이번 연구에서 말하는 ‘효과가 있었다’는 표현의 실체는 정확히 여기까지다.
이들이 정의한 엄격한 시행이란 주로 특수 잠금 파우치를 뜻한다. 등교할 때 휴대폰을 파우치에 넣고 자석 걸쇠로 잠근 뒤, 하교할 때만 열 수 있도록 하는 방식이다. 조사 대상 4,600개 학교 중 대다수는 이 시장 점유율 1위인 욘더(Yondr)사의 파우치를 도입했다. 천 주머니 하나와 자석 잠금장치 하나가 최근 미국 교육계에서 가장 큰 규모의 정책 개입 수단으로 자리 잡았고, 이미 40개 이상의 주가 교내 스마트폰 규제 법안을 통과시켰다.

그림: 펜실베이니아주 와이오밍 에어리어 학군의 한 학생이 Yondr 파우치 사용법을 시연하고 있다. 학교의 금지령은 보통 이 주머니를 통해 집행된다. 출처: NPR / Jason Ardan, Citizens’ Voice via Getty Images
2013년 이래 성적은 해마다 2~3주 분량씩 새어나갔다
CEPR 논문의 연구 책임자인 토머스 케인(Thomas Kane) 교수는 몇 년 전까지만 해도 다른 원인에 무게를 두고 있었다. 그는 미국 학생들의 성적 하락이 표준화 시험에 대한 학교의 평가 책임이 느슨해진 탓이라고 보았다. 학교가 시험 결과에 신경 쓰지 않으니 학생들의 긴장감도 풀렸을 것이라는 추정이었다. 그의 생각을 바꾼 계기는 국제 비교 연구였다. 같은 시기 서유럽 여러 국가와 캐나다에서도 특히 읽기 영역을 중심으로 유사한 성적 하락세가 뚜렷하게 관측되었기 때문이다.
국가마다 입시 제도와 평가 압박은 제각각이었지만 성적 하락은 전 세계에서 동시에 발생했다. ‘미국만의 고유한 원인’을 하나씩 소거해 나가자, 마지막으로 남은 설명은 전 세계에 동시에 보급된 사물들이었다. 스마트폰은 이 시점과 완벽하게 맞아떨어진다. 약 10년 전 미국의 거의 모든 청소년이 개인 스마트폰을 손에 쥐었고, 2027년 1월이면 아이폰이 출시 20주년을 맞는다.
스마트폰이 성적 하락을 직접 초래했다는 인과관계가 완벽히 입증된 것은 아니다. 그러나 현재로서는 가장 많은 실증적 정황이 모이는 설명 중 하나이며, 이번에 발표된 두 연구의 공통된 문제의식이기도 하다.
동일한 4,600개 학교에서 도출된 두 가지 답변
2026년 4월에 발표되어 9월에 개정된 전미경제연구소(NBER) 실무 논문 35132호(저자: Allcott, Baron, Dee, Duckworth, Gentzkow, Jacob) 역시 동일한 4,600개 학교를 분석 대상으로 삼았다. 이들의 데이터는 더욱 다각적이었다. 욘더 파우치 판매 기록, 학교 위치 기반 데이터, 교사 설문조사, 교육청 행정 기록까지 광범위하게 수집되었다.
이들이 내놓은 결과는 이렇다. 전반적인 평균 학업 효과는 ‘지속적으로 0에 가까웠다’. 학령별로 나누어 보면 고등학교에서는 완만한 긍정적 효과(수학에서 가장 뚜렷함)가 나타난 반면, 중학교에서는 소폭의 부정적 효과가 나타났다. 출석률에는 아무런 변화가 없었으며, 학생들이 스스로 평가한 수업 집중도나 체감된 사이버 폭력 빈도 역시 개선되지 않았다. 시계열상 흐름도 엇갈렸다. 정책 도입 첫해에는 교내 징계 건수가 오히려 늘고 학생들의 주관적 행복감이 떨어졌다. 그러나 2년 차부터는 징계 증가세가 사라지고 행복감이 반등하여 이후 연도에는 긍정적인 추세로 돌아섰다.
이로 인해 두 저명한 교육경제학자의 상반된 평가가 나란히 놓이게 되었다. NBER 논문의 공저자인 스탠퍼드 대학교 토머스 디(Thomas Dee) 교수는 “교내 스마트폰 금지령의 초기 결과는 전반적으로 실망스러우며, 풀리지 않은 의문을 남겼다”라고 말했다. 반면 CEPR 연구를 이끈 하버드의 케인 교수는 “우리의 답변은 긍정적이다. 금지령은 학업 성장에 분명 긍정적 효과를 준다. 다만 만병통치약은 아니다”라고 밝혔다. 같은 나라, 동일한 학교들을 들여다보면서 한쪽 베테랑 학자는 ‘실망스럽다’고 평하고, 다른 한쪽은 ‘효과가 입증되었다’고 선언한 것이다.

그림: 뉴욕주 라카와나 학군의 학부모와 학생들이 파우치 정책 안내 영상을 함께 시청하고 있다(2024년 8월 19일). 출처: The Guardian / Carolyn Thompson, AP
엇갈린 결과는 무엇을, 얼마 동안 측정했는가의 차이였다
두 연구를 나란히 펼쳐놓고 보아도 데이터 조작 흔적은 찾아볼 수 없다. 양쪽 모두 동일한 학교 군에서 추출한 실제 데이터를 성실하게 분석했다. 결과가 갈라진 배경에는 세 가지 방법론적 차이가 있었다.
첫째, ‘엄격한 시행’을 어떻게 정의했는가의 문제다. NBER은 파우치 구매 기록을 토대로 학교의 정책 강도를 추정했으나, 파우치를 샀다고 해서 매일 철저하게 쓰인다는 보장은 없다. 반면 CEPR은 파우치를 활용해 엄격한 금지를 철저히 집행하는 학교들을 명확히 선별해 비교했다. 정의가 달라지면 분석 대상의 모수도 달라진다. 둘째, 전체 평균을 냈는가, 세부 집단별로 나누었는가의 차이다. NBER의 세부 집단 분석에서도 고등학교는 플러스, 중학교는 마이너스였으며, 둘을 하나로 합치자 수치가 0에 수렴했다. 반면 CEPR은 파우치 도입 학교의 전반적인 학업 성장을 직접 집계했다. 같은 데이터셋을 두고도 분석 틀에 따라 ‘0에 수렴’하거나 ‘작지만 긍정적’이라는 서로 다른 결론이 나온 것이다. 셋째, 학업 성적만 측정했는가, 전반적 학교생활을 모두 측정했는가의 문제다. NBER은 주관적 행복감, 출석률, 사이버 괴롭힘 인식까지 함께 측정해 학업 외 영역에서 첫해의 혼란과 마찰을 포착했다. 반면 CEPR의 연구 설계는 오로지 표준화 시험 성적에만 집중했다.
두 연구는 저마다 자신이 규정한 질문에 정직하게 답했을 뿐이다. 단지 ‘효과가 있는가’라는 표현이 지칭하는 범위가 양쪽에서 달랐을 뿐이다. 사람들은 ‘금지령이 과연 쓸모 있는가’에 대한 명쾌한 단답형 결론을 원하지만, 데이터는 그런 단순화를 허락하지 않는다. 정의별로, 학령별로, 연도별로 쪼개진 수치를 차분히 내놓을 뿐이다.
읽기 성적이 급락하던 소수 학생들의 낙폭을 막아냈다
CEPR 논문에는 평균치에 가려지기 쉬운 또 다른 결정적 발견이 담겨 있다. 케인 교수 연구팀은 정책의 혜택이 매우 불균등하게 돌아갔다는 사실에 주목했다. 연간 읽기 성적이 크게 곤두박질치던 소수의 학생들이 있었는데, 스마트폰 금지령이 이들의 급격한 성적 하락을 멈춰 세운 것이다. 케인 교수는 이 학생들이 디지털 기기로 인한 ‘주의 산만’에 가장 취약한 부류에 속할 것이라고 추정했다.
0.01 표준편차라는 평균 수치는 바로 이 세부적인 현실을 가려버린다. 대다수 일반 학생에게 금지령의 가치는 연간 1~2주의 수업량에 불과하다. 그러나 읽기 점수가 가파르게 떨어지던 학생들에게 금지령은 1년 치에 달하는 학습 결손을 막아주는 안전망 역할을 했다. 수학적으로 평균치는 정확하지만, 공공 정책의 진정한 가치는 종종 분포의 꼬리 부분에서 발견된다.
정책 현실은 또 다른 층위의 문제를 안고 있다. 40개 이상의 주가 교내 스마트폰 규제 법안을 통과시켰지만, 구체적인 세부 규칙은 각 학교의 자율에 맡겨두어 지역마다 천차만별인 모자이크식 지도가 만들어졌다. 그러나 연구자들에게 이러한 파편화는 오히려 반가운 소식이다. 집행 강도와 학령별 세부 규칙의 차이야말로 앞으로 ‘어떤 정책이 실제로 효과를 내는지’를 검증하는 데 가장 필수적인 비교 변수가 되기 때문이다.
두 연구를 종합했을 때 드러나는 결론은 어느 한쪽만을 보았을 때보다 훨씬 솔직하다. 스마트폰 금지령은 작동하고 있다. 다만 그 효과는 0.01 표준편차라는 작은 단위로 측정되어야 하며, 읽기 성적이 급락하던 소수 학생의 손실을 막아냈다는 점이 함께 고려되어야 한다. 우리는 시원한 해답을 갈망하지만, 데이터가 내놓는 수치는 매우 작고 조심스럽다. 이 정책이 비용 대비 가치가 있는지는 정책 입안자가 전체 학생의 평균 점수에 목표를 둘 것인지, 아니면 급격히 뒤처지는 아이들을 붙잡는 데 목표를 둘 것인지에 달려 있다. ‘유용하다’ 혹은 ‘소용없다’는 단순한 한마디보다 복잡하지만, 이것이 현재 데이터가 우리에게 보여줄 수 있는 진실의 전부다.
참고 링크:
- 하버드 CEPR: States Leading States Initiative 첫 연구 논문
- NBER 워킹 페이퍼 35132 (Allcott, Baron, Dee, Duckworth, Gentzkow, Jacob)
- NPR 보도: 펜실베이니아주 학군 학생의 Yondr 파우치 사용 시연
- The Guardian 보도: 뉴욕주 라카와나 학군의 학부모 대상 파우치 정책 설명회