4살 딸이 뛰어들자 화면에 나타난 치타
식탁에 둘러앉아 이야기를 나눌 때, 상대방의 말에 맞장구를 치는 데는 0.5초도 채 걸리지 않는다. 하지만 안구 추적 장치에 의존해 글자를 하나씩 골라야 하는 실어증 환자에게 한 문장을 완성하는 일은 종종 몇 분씩 걸리는 고된 노동이다. 온 힘을 다해 단어를 화면에 띄웠을 때, 식탁 위의 대화 주제는 이미 서너 차례나 훌쩍 넘어간 뒤다.
캘리포니아에 사는 47세의 케이시 해럴(Casey Harrell)은 수년 동안 이런 긴 침묵을 견뎌야 했다. 2020년 그는 근위축성 측삭경화증(ALS, 루게릭병) 진단을 받았다. 온몸의 근육을 지배하는 운동신경 세포가 점차 파괴되면서 전신이 마비되는 질환이다. 병세가 악화되면서 입술과 혀는 힘을 잃었다. 해럴이 1분 동안 힘겹게 쥐어짤 수 있는 단어는 고작 6개에 불과했고 일상 대화는 사실상 멈춰 섰다. 집 안에서 그의 뜻을 알아차릴 수 있는 사람은 짐작으로 눈치를 살피는 아내와 전담 간병인뿐이었다.
2023년 여름, 해럴은 캘리포니아대학교 데이비스 캠퍼스 의료원에서 뇌 이식 수술을 받았다. 의료진은 그의 뇌 표면에 4개의 미세 칩을 올려놓고 발음을 제어하는 신경 신호를 포착하고자 했다. 장비를 연결한 지 이틀째 되던 날 오후, 4살 된 딸이 치타 무늬 옷을 입고 방 안으로 뛰어 들어왔다. 해럴의 머릿속에 말을 건네려는 생각이 스친 순간, 곁에 있던 스피커에서 또렷한 목소리가 흘러나왔다. “작은 치타를 찾고 있었단다.”
화면 너머에서 지켜보던 연구진은 순간 얼어붙었다. 해독 알고리즘이 무작위 오류를 일으킨 것이라 여겼기 때문이다. 하지만 영상 카메라에 신나게 뛰어노는 어린 딸의 모습이 실제로 잡히자 실험실은 순식간에 환호성으로 뒤덮였다. 알고리즘의 오류가 아니었다. 아버지가 눈앞의 딸에게 직접 말을 건네고 있었다.
그림: 뇌-컴퓨터 인터페이스가 실어증 환자의 목소리를 어떻게 되찾아 주었는지 기록한 Science News 팟캐스트. 출처: Science News / PRX.
256개 전극으로 근육 발음 명령을 가로채다
사람들은 대개 뇌-컴퓨터 인터페이스(BCI)가 마음을 읽는 독심술 장치라고 생각하기 쉽다. 하지만 BCI는 사람의 추상적인 생각을 직접 해독하지 않는다. 연구팀이 정밀하게 겨냥한 목표는 뇌가 발음 근육을 향해 내려보내는 구체적인 운동 명령이었다.
일상에서 입을 열어 말을 하는 것은 대단히 정밀한 신체 운동이다. 한 단어를 소리 내어 말할 때마다 뇌는 수십 밀리초 안에 100개가 넘는 미세한 근육을 동시에 조율해야 한다. 입술, 혀, 턱, 성대가 한 치의 오차도 없이 맞물려 힘을 내야 한다. 루게릭병은 신경이 말초 근육으로 명령을 내리는 통로를 끊어버려 목을 마비시키지만, 대뇌 피질에 자리한 발음 중추는 그대로 온전하게 남아 있다. 환자가 말을 하려고 시도할 때마다 뇌의 운동 중추는 전력을 다해 근육 조율 펄스를 뿜어내고 있다.
의료진은 가로세로 수 밀리미터에 불과한 실리콘 칩 형태의 미세 전극 어레이 4개를 사용했다. 이 칩들은 좌측 언어 운동 피질(발음 근육을 총괄하는 뇌 부위) 표면에 배치되었다. 머리카락보다 가는 총 256개의 전극 바늘이 대뇌 피질 표면 아래 2밀리미터도 되지 않는 깊이로 자리 잡았다. 해럴이 머릿속으로 입술이나 혀를 움직이려 애쓰기만 해도 전극은 신경 세포의 전기 신호를 즉각 포착한다. 근육으로 향하려던 운동 조율 명령이 신경의 발원지에서 고스란히 가로채진 것이다.
뇌파를 39개의 발음 블록으로 쪼개다
신경 신호를 가로챈 뒤 이를 어떻게 일상적인 언어로 풀어낼 것인가? 연구팀은 언어학의 가장 기초적인 단위에서 답을 찾았다.
영어로 말하는 모든 일상 어휘는 발음 차원에서 단 39개의 음소(phoneme, 말소리의 가장 작은 단위)로 분해할 수 있다. 예를 들어 “hello”라는 인사를 건네려 할 때, 뇌는 실제로 네 번의 연속적인 발음 동작을 일으킨다. 덕분에 해독 알고리즘의 작동 원리는 명료해졌다. 시스템은 전극이 포착한 신경 세포의 방전 신호를 먼저 이 39개의 발음 블록으로 분류한다. 뒤이어 언어 모델이 개입해 이 블록들을 올바른 단어와 문장으로 조립한다. 끝없는 생각 추측의 함정을 피해 규칙이 분명한 퍼즐 맞추기로 문제를 단순화한 것이다.
장비를 처음 가동한 날, 해럴이 진행한 기초 훈련은 30분에 불과했다. 일상 단어 50개를 대상으로 진행한 테스트에서 시스템 해독 정확도는 99.6%에 달했다. 이튿날 연구진은 단어 목록을 12만 5,000단어로 크게 넓혔다. 일반 성인의 일상 어휘량이 대략 2만에서 3만 단어 안팎임을 감안하면, 12만 5,000단어는 두툼한 대형 사전 한 권에 맞먹는 분량이다. 이 방대한 사전 규모 앞에서도 시스템의 초기 해독 정확도는 90.2%를 기록했고 몇 달 뒤에는 97.5%로 안정되었다. 뇌 신호를 유한한 발음 단위로 잘게 쪼갠 덕분에, 알고리즘은 거대한 사전 수준의 일상 표현을 막힘없이 담아낼 수 있었다.
발병 전 녹음에서 되살려낸 원래의 목소리
생각을 문장으로 바꾸는 것은 절반의 성공일 뿐이다. 음색의 질감이야말로 대화에 인간적인 온기를 불어넣는다. 기존의 음성 보조 장치 대부분은 단조롭고 차가운 전자 합성음에 의존해 왔다. 억양 없는 기계음은 마치 기계가 설명서를 낭독하는 것처럼 차갑게 들릴 뿐이다.
해럴은 자신만의 목소리를 되찾고 싶어 했다. 연구팀은 그가 병을 앓기 전 진행했던 인터뷰 녹음 자료를 찾아냈다. 그가 예전에 녹음해 둔 고음질 팟캐스트 음원도 모았다. 알고리즘은 당시 그의 고유한 음색과 어조, 발음 습관을 추출했다. 이를 바탕으로 그만을 위한 맞춤형 음성 모델을 만들었다. 신경 신호가 문장을 완성하면, 스피커에서는 해럴이 예전에 쓰던 익숙한 목소리가 흘러나왔다. 기계가 대신 읽어주는 소리가 아니라, 그가 자신의 목소리로 방 안에서 다시 말을 시작한 것이다.
그림: 해럴이 뇌-컴퓨터 인터페이스를 통해 화면에 실시간으로 표시되는 해독 단어들을 확인하고 있다. 출처: UC Davis Health.
시스템의 반응 지연 시간은 약 80밀리초까지 줄어들었다. 사람이 한 번 눈을 깜빡이는 데 걸리는 시간은 보통 100밀리초에서 400밀리초 사이다. 80밀리초는 눈 깜빡임보다 빠르며, 사람이 입을 열어 말할 때 자신의 목소리를 귀로 듣는 자연스러운 지연 시간과 사실상 같다. 이처럼 실시간에 가까운 음성 피드백 덕분에 대화는 본래의 자연스러운 호흡과 주고받는 리듬을 되찾았다. 익숙한 목소리가 수십 밀리초 만에 즉각 울려 퍼지며, 환자는 온전한 자아의 정체성을 다시 찾았다.
2년 동안 196만 단어, 다시 찾은 가족의 일상
실험실에서의 시연 성공과 일상생활 속 안착 사이에는 커다란 간극이 있다. 2026년 6월, 국제 학술지 ‘네이처 신경과학(Nature Neuroscience)‘에 장기 추적 관찰 데이터가 공개되었다. 해럴은 약 2년 동안 자택에서 누구의 도움 없이 독립적으로 이 장비를 3,800시간 넘게 사용했다. 매일 10시간에서 14시간 동안 전원을 켜고 생활하며 총 18만 3,060문장, 누적 196만 163단어를 말했다. 장기 사용 과정에서 시스템이 출력한 문장의 92%가 전반적으로 정확했고, 그의 평균 발화 속도는 분당 56단어에 이르렀다.
이 속도는 삶을 변화시키는 실제적인 의미를 지닌다. 일반 성인의 일상 대화 속도는 분당 120단어에서 150단어 수준이다. 병세가 깊어진 뒤 해럴이 자연적으로 낼 수 있던 발화 속도는 분당 6단어에 불과했다. 분당 56단어는 일반적인 대화 속도의 3분의 1 이상 수준까지 회복되었음을 뜻한다. 짧은 대답 하나를 위해 몇 분 동안 말없이 타이핑 화면만 바라볼 필요 없이, 저녁 식탁에서 오가는 즉흥적인 대화에 자연스럽게 동참할 수 있게 되었다.
물론 여전히 물리적인 한계는 남아 있다. 해럴의 머리에는 여전히 두 개의 작은 연결 단자가 자리 잡고 있다. 장비를 가동하려면 전용 케이블을 컴퓨터 본체와 전원에 항상 연결해야 하므로 외부 외출에는 여전히 제약이 따른다. 현재 해럴은 전 세계에서 음성 보철 기기를 이처럼 일상적으로 고빈도 활용하는 유일한 환자다.
그러나 삶을 되찾았다는 진정한 의미는 이런 소소한 일상 속에 있다. 해럴은 인터뷰에서 이 장치 덕분에 4살 난 딸아이와 도란도란 이야기를 나눌 수 있게 되었다고 털어놓았다. 아내와 언제든 마음속 깊은 이야기를 나누고, 오랜 친구들과 둘러앉아 싱거운 농담을 주고받을 수 있게 되었다.
발음 운동 명령을 직접 해독함으로써 생각을 텍스트로 바꾸는 번거로운 중간 과정을 건너뛰었다. 그 덕분에 실어증 환자들은 일상 대화에 가까운 말하기 속도를 되찾았다. 음성 보철 기술은 글자판을 누르는 답답한 타이핑에서 실시간 대화로 도약하는 기술적 문턱을 넘어섰다. 거실에 다시 울려 퍼진 익숙한 목소리는 해럴에게 아버지이자 남편으로서 누려야 할 일상의 존엄을 온전히 되돌려주었다.
참고 링크:
- Science News 팟캐스트 보도: 뇌로 말한다는 것은 어떤 경험인가.
- Nature 논문: 루게릭병 환자를 위한 고정확도 실시간 음성 보철 연구.
- UC 데이비스 헬스: 루게릭병 환자의 실시간 발화를 도운 최초의 기술.
