레딧(Reddit)의 추천 댓글 하나는 암시장에서 단돈 9.99달러에 팔린다. 100개 묶음은 699.99달러에 거래된다. 칼 애호가인 피터 비예(Peter Vijeh)는 파인튜닝된 개체명 인식(NER) 모델을 사용해 레딧의 칼 관련 서브레딧에서 51,129건의 댓글을 수집하고 분석했다. 그는 통계학을 이용하면 조직적인 댓글 조작(Astroturfing)의 현장을 바로 잡아낼 수 있을 것이라 생각했다.
5만 건의 데이터를 재수집해 걸러낸 진짜 추천들
피터 비예는 칼 수집가를 위한 웹사이트 ‘New Knife Day’를 직접 운영하고 있다. 그는 일반 소비자들이 칼을 살 때 구글 검색창에 단어 뒤에 ‘reddit’을 덧붙여 검색하는 습관을 누구보다 잘 알고 있었다. 그는 핵심적인 6개 서브레딧(r/knives, r/knifeclub, r/chefknives, r/japaneseknives, r/FixedBladeEdc, r/KnifeSteels)을 분석 대상으로 선정했으며, 총 6,675개의 게시글이 포함되었다. 처음 스크래퍼는 게시글이 올라오자마자 즉시 댓글을 수집하도록 설정되어 있었다. 그러나 이 초기 검증에서는 아무런 단서도 찾지 못했다. 초기에 수집된 800여 개의 구매 조언 요청 게시글에서는 브랜드 언급량 자체가 너무 적었다. 이상 계정의 집중도는 7.6%로, 단순 무작위 확률로 예상되는 7.1%와 통계적으로 전혀 구분되지 않았다.
이는 직관에는 부합하지만 커뮤니티의 실제 생태를 간과한 수집 실패였다. “무엇을 사야 할까요?”와 같은 질문 글은 게시 즉시 댓글이 폭발적으로 달리지 않는다. 대체로 이후 하루나 이틀에 걸쳐 천천히 양질의 추천이 누적된다. 실제로 가장 규모가 큰 r/knives 서브레딧의 경우, 글이 올라온 직후에는 평균 1.5개의 답변만 달릴 뿐이었다.
비예는 게시된 지 48시간 이상 지난 3,607개의 게시글을 대상으로 댓글 트리를 다시 수집하기로 결정했다. 이번에는 데이터베이스가 2만여 건에서 51,129건으로 대폭 늘어났다. 이러한 시간차 확보를 통해 진정한 구매 추천 데이터를 걸러낼 수 있었다. 5만여 건의 댓글 중에서 10회 이상 댓글을 단 계정은 987개였다. 비예는 정규표현식을 작성해 제목이나 본문에 “should I buy”, “recommend”, “best knife” 등의 표현이 포함된 구매 질문 글을 추출했다. 이 특정 영역에서 987개의 계정은 총 1,471회의 브랜드 언급을 남겼다.
발언 중 브랜드 언급 비율(동일한 브랜드를 반복적으로 언급하는 성향을 가중 반영한 지표)에 따라 순위를 매겼을 때, 최상위 5%에 해당하는 계정을 ‘꼬리 계정(Tail Accounts)‘으로 정의했으며 총 49개였다.
1,000회 무작위 재배치로 드러난 꼬리 계정의 이상 분포
이 49개 계정이 실제로 편향된 추천을 집중적으로 남긴 것인지, 아니면 단순한 통계적 우연인지를 검증하기 위해 비예는 몬테카를로 순열 검정(무작위 재배치 테스트)을 수행했다. 어떤 게시글에서 어떤 브랜드가 언급되었는지는 그대로 고정해 둔 채, 해당 언급에 부여된 작성자 이름만을 무작위로 섞었다. 이 과정을 1,000회 반복했다.
확률적 무작위 분포에 따르면 이 5%의 계정이 작성해야 할 브랜드 추천 비중은 약 7.9%였으며, 대다수의 테스트 결과는 6.3%에서 10.1% 사이에 머물러야 했다. 그러나 실제 데이터에서 그들이 작성한 비중은 11.3%에 달했다. 1,000번의 무작위 재배치 중에서 이 수치에 도달한 경우는 단 2번에 불과했다. 알기 쉽게 설명하자면, 구매 조언 댓글 9개 중 약 1개가 이 49개 계정에서 나온 셈이다. 정상적인 확률 분포라면 13개 중 1개여야 했다. 표본 내에서 의도된 추천이 약 50건이나 불쑥 초과 발생한 것이다.
데이터를 개별 브랜드별로 분해해 보면 격차는 더욱 충격적이었다. 특정 셰프 나이프(식칼) 브랜드의 추천 집중도는 무려 31.2%에 달해, 확률 기대치인 8.0%의 4배에 육박했다. 다른 두 브랜드 역시 각각 26.1% 대 8.2%, 20.4% 대 11.8%를 기록했다. 확률 기대치보다 낮은 수치를 기록한 것은 대형 브랜드 하나(8.1% 대 9.5%)뿐이었고, 나머지 세 브랜드는 어떠한 통계적 신호도 나타나지 않았다.
서브레딧별 분포를 보아도 이상 데이터는 고르게 퍼져 있지 않았다. r/chefknives는 14.9% 대 7.7%, r/japaneseknives는 15.2% 대 14.3%에 달했다. 반면 가장 규모가 큰 일반 커뮤니티인 r/knives는 6.7% 대 6.4%로 거의 확률 기대치 선에 맞닿아 있었다. 만약 칼 커뮤니티 전체가 광범위하게 댓글 알바에게 장악당했다면 모든 서브레딧의 수치가 기대치보다 높아야 한다. 특정 게시판에만 집중되어 있다는 점은 이것이 정밀하게 겨냥된 국소적 활동임을 시사한다.
엄밀성을 위해 비예는 조사 대상 브랜드의 이름을 모두 익명 처리했다. 집중도 통계는 특정 브랜드가 소수의 계정에 의해 비정상적으로 많이 추천되었다는 사실만을 증명할 수 있을 뿐, 그 브랜드가 돈을 지불했다는 사실을 입증하지는 못한다. 실제로 신호가 가장 강력하게 포착된 브랜드는 원래부터 목소리가 매우 큰 열성 팬덤을 보유하고 있었다.
전체 활동 이력 분석: 댓글 알바와 열혈 팬이 완벽히 똑같은 이유
이들 6개 서브레딧 내부의 국소적인 데이터만 보았을 때, 꼬리 계정들은 매우 건조하고 앙상한 특징을 보였다. 해당 게시판 내 작성 댓글 수 중앙값은 12회에 불과했다. 댓글 추천 수(점수) 중앙값은 단 1점으로, 다른 사용자들의 추천을 거의 받지 못했다. 반면 발언 내용은 매우 일관되어서 브랜드 언급의 3분의 2가 동일한 단 하나의 브랜드를 향해 있었다.
실체를 파악하기 위해 비예는 신호가 포착된 세 브랜드 뒤에 있는 꼬리 계정 23개의 레딧 전체 활동 이력을 추출했다. 여기에는 최대 약 2,000건의 댓글과 게시글, 계정 생성일, 카르마(karma) 점수가 포함되었다. 대조군으로는 댓글 수 범위가 동일한 일반 계정 23개를 무작위로 추출했다.
그 결과는 여론 조작 계정에 대한 모든 직관적 선입견을 무너뜨렸다. 계정 생성 기간 중앙값은 두 그룹 모두 4.5년이었다. 꼬리 계정이 6개 칼 서브레딧에 남긴 댓글 분량은 전체 활동의 3.2%에 불과했으며, 대조군의 10.3%보다 오히려 낮았다. 꼬리 계정의 활동 이력은 66개의 서로 다른 서브레딧에 걸쳐 있었고, 대조군은 47개였다. 전체 활동 기간 동안 꼬리 계정이 언급한 칼 브랜드는 중앙값 기준 7개(대조군은 12개)였으며, 상점 링크를 포함한 비율은 꼬리 계정이 0.3%, 대조군이 0.2%였다.
맨-휘트니 U 검정 결과, p < 0.05 수준에서 두 그룹을 통계적으로 구분할 수 있는 특징은 단 하나도 없었다. 더욱 극적인 사실은, 꼬리 계정 중 8개와 대조군 중 7개가 활동 이력을 비공개로 돌렸거나 계정이 정지 또는 삭제된 상태였다는 점이다. 오래된 계정, 수십 개 서브레딧에서의 자연스러운 활동, 스팸성 링크를 뿌리지 않는 점 등 높은 신뢰도를 상징하는 지표들이 이들 23개 꼬리 계정에서 완벽하게 나타났다.
이는 어둠의 마케팅 시장이 내세우는 상업적 서비스 기준과 정확히 일치한다.
그림: REDcmts 가격표 스크린샷: 댓글 1건당 9.99달러, 10건 89.99달러, 100건 699.99달러 (2026년 9월). 출처: Peter Vijeh 조사 보고서
조직적인 댓글 작업에는 명확한 시장 가격이 형성되어 있다. REDCmts는 댓글 1건을 9.99달러, 100건을 699.99달러에 판매하며, ‘실제 활동 이력이 있는 오래된 계정’을 사용한다고 명시하고 있다. 또 다른 대행업체인 Soar는 브랜드를 언급하기 전에 몇 주 동안 수작업으로 계정을 ‘육성(warming)‘한다고 공개적으로 밝힌다. Bazzly 같은 업체는 구매 조언을 구하는 글로 보이는 게시물에 자동으로 답변을 달아주는 서비스까지 제공한다.
그림: Soar 마케팅 페이지 스크린샷: 구매자가 지불하는 비용에 계정 육성 과정이 포함되어 있음을 설명. 출처: Peter Vijeh 조사 보고서
이러한 공개 서비스 페이지들은 고품질의 조직적 댓글 부대가 실제로 존재함을 증명한다. 그러나 비예가 강조했듯, 이들 대행업체와 칼 서브레딧 내의 특정 계정을 직접 연결하는 증거는 전혀 존재하지 않는다. 그래프상에서 오직 한 브랜드만을 밀어주는 4.5년 된 오래된 계정은 평소 수십 개 취미 게시판을 돌아다니며 특정 장인의 칼만 고집하는 진성 열혈 팬과 완벽하게 똑같은 모습을 띤다.
데이터는 의심스러운 영역을 그릴 수 있지만 동기까지 입증하진 못한다
몇몇 브랜드의 경우 구매 조언의 4분의 1에서 3분의 1이 특정 브랜드를 일편단심으로 지지하는 계정들로부터 나온 것이 사실이다. 그러나 이들 계정의 전체 이력을 살펴본 비예는 조심스럽게 그들이 단지 열성적인 팬일 가능성에 무게를 둔다. 물론 그 확신이 절대적인 것은 아니다.
일반 독자들에게 이 분석은 실용적인 자기방어 전략을 제공한다. 질문 글에서 낯선 계정이 특정 칼을 추천하는 것을 보았다면, 프로필을 클릭해 과거에 다른 브랜드를 언급한 적이 있는지 살펴보는 것이다. 이번 51,129건의 데이터셋에서 이 단순한 질문 하나가 카르마 점수를 확인하는 것보다 꼬리 계정을 훨씬 더 효과적으로 가려냈다. 하지만 정교하게 육성된 실제 사람의 오래된 계정으로 진행되는 유료 바이럴 마케팅 앞에서 일반 독자는 여전히 속수무책일 수밖에 없다.
비예는 글 말미에 몇 가지 한계점을 솔직하게 나열했다. 브랜드 인식에 사전 학습된 범용 모델을 사용하여 수작업 라벨링 검증을 거치지 않았고, 구매 질문 글 판별이 정규표현식에만 의존했다는 점이다. 또한 49개 계정 중 특정 브랜드에 대한 결론은 실질적으로 15개에서 20개 계정의 데이터에 기반하고 있다. 더불어 그 자신이 칼 관련 사이트를 운영하는 이해관계가 있다는 점과 초고 작성에 AI의 도움을 받았다는 사실도 투명성 공시에 명시되었다.
공개 데이터는 추천 활동이 극소수의 계정에 고도로 집중되어 있다는 사실을 증명할 수 있다. 통계 검정은 의심스러운 영역을 구획하고 9개 조언 중 1개에 통계적 이상이 존재함을 계산해 낼 수 있지만, 그 이면의 동기를 증명하지는 못한다. ‘돈을 받은 댓글 알바’와 ‘한 브랜드만 사랑하는 열성 팬’은 통계 그래프 위에 정확히 똑같은 그림자를 남긴다. 4.5년의 가입 이력을 지니고 66개 서브레딧에서 활동하는 완벽한 계정 앞에서는, 데이터 분석 역시 그 물리적 한계에 부딪히게 된다.
참고 링크:
- Peter Vijeh 조사 보고서
