스마트폰 뒷면에는 여러 개의 카메라 렌즈가 달려 있지만, 셔터를 누를 때 실제로 사진을 찍는 것은 단 하나의 렌즈뿐입니다. 나머지 렌즈는 평소에 무엇을 하고 있을까요? 인물 사진 모드에서 거리 계산을 돕거나 줌을 전환할 때 일시적으로 보조하는 것 외에는 대부분 놀고 있습니다. 최근 개발자 커뮤니티인 해커뉴스(Hacker News)에서 주목받는 Photosynthesis라는 앱은 이러한 역할 분담을 깨뜨렸습니다. 두 개의 렌즈가 똑같은 순간에 동시에 셔터를 찍게 한 다음, 두 장의 사진을 하나로 합성합니다. 중앙 영역은 더 선명한 망원 렌즈를, 주변 영역은 더 넓은 메인 렌즈를 사용하는 방식입니다. 이 프로젝트는 해커뉴스에 올라온 후 160개 이상의 댓글과 열띤 토론을 불러일으켰습니다.
약 1cm 떨어진 두 렌즈가 바라보는 아주 미세한 차이
먼저 두 장의 사진이 어떻게 하나로 합성될 수 있는지 설명해보겠습니다. 아이폰 뒷면의 렌즈들은 포개져 있는 것이 아니라 렌즈 중심 간격이 약 1cm 정도 떨어져 있습니다. 위치가 다르기 때문에 동일한 장면을 보더라도 화면에 아주 미세한 시각 차이가 생깁니다. 가까이 있는 물체일수록 두 렌즈가 보는 위치의 어긋남이 크게 나타나고, 멀리 있는 풍경은 거의 동일하게 보입니다.
이러한 차이를 ‘시차(Parallax)‘라고 부릅니다. 사람의 눈도 이 시차를 이용해 입체감과 거리를 감지합니다. 양쪽 눈이 각각 다른 각도의 이미지를 보고, 뇌가 두 이미지를 비교하여 멀고 가까움을 판단하는 원리입니다. 스마트폰의 인물 사진 모드 역시 이 원리를 작동시킵니다. 두 렌즈의 화면을 비교해 무엇이 앞에 있고 뒤에 있는지 계산한 뒤 배경을 흐리게 처리하는 것입니다. 즉, 시차라는 기술 자체는 스마트폰이 이미 오래전부터 쓰고 있었지만, 지금까지는 주로 거리 계산 목적으로만 쓰였습니다.
Photosynthesis는 이 시차를 다른 곳에 적용했습니다. 두 장의 이미지 사이의 어긋난 정도를 계산해 동일한 좌표에 맞춰 겹쳐놓고 한 장의 사진처럼 처리하는 것입니다.
하나는 넓게, 하나는 선명하게
합성의 핵심은 명확한 역할 분담에 있습니다. 아이폰에 탑재된 두 렌즈의 특성은 서로 다릅니다. 메인 카메라는 넓은 시야각을 보여주지만 세부 묘사는 무난하며, 망원 렌즈는 시야각이 좁지만 훨씬 섬세한 질감을 담아냅니다. Pro 모델을 예로 들면 망원 렌즈는 메인 카메라보다 2배, 3배, 심지어 5배까지 확대된 화면을 찍을 수 있습니다. 이는 중앙 영역의 디테일 밀도가 주변보다 몇 배나 높다는 것을 의미합니다.
사진: 뷰파인더의 초록색 괄호는 고해상도 렌즈가 담당하는 중앙 영역을 표시합니다 (Pro 모델의 경우 1배 메인 렌즈와 4배 망원 렌즈 조합). 출처: photosynthesis.camera
Photosynthesis의 방식은 뷰파인더를 두 영역으로 나누어, 중앙의 초록색 괄호 영역은 더 선명한 망원 렌즈에 맡기고 괄호 밖의 넓은 장면은 메인 카메라에 맡기는 것입니다. 셔터를 누르면 두 렌즈가 동시에 각각의 촬영을 진행합니다. 망원 렌즈가 없는 일반 아이폰에서도 응용이 가능합니다. 메인 카메라가 중앙의 선명한 디테일을 담당하고, 초광각 렌즈가 주변의 넓은 풍경을 맡아 ‘선명함’과 ‘넓음’을 하나로 결합합니다.
이 방식은 사람 눈의 구조와도 닮아 있습니다. 사람의 시야는 매우 넓지만 고해상도로 인식할 수 있는 구역은 정중앙의 좁은 영역뿐입니다. 뇌는 안구를 빠르게 움직여 주변부를 보완합니다. 중심부는 선명하게, 주변부는 넓게 담아내는 것은 인류의 시각 시스템이 본래 사용하는 전략이며, 관찰자가 가장 주의를 기울이는 곳에 더 많은 세부 정보를 집중시키는 지혜입니다.
사진: 방 건너편에서 찍은 책장. 책등의 글씨까지 선명하게 읽을 수 있는 듀얼 렌즈 합성의 결과물입니다. 출처: photosynthesis.camera
두 장의 사진을 하나로 맞추기: 정렬, 영역 선택, 경계선 보정
가장 어려운 부분은 합성 단계이며, 크게 세 단계로 나뉩니다.
첫 번째 단계는 ‘정렬’입니다. 두 렌즈가 1cm 정도 떨어져 있기 때문에 같은 기둥이라도 두 사진 속에서의 위치 좌표가 다릅니다. 소프트웨어는 먼저 어긋난 위치를 정확히 계산하여 두 사진을 딱 맞게 겹쳐야 합니다. 시차는 여기서 도움이 되면서도 걸림돌이 됩니다. 원경은 위치 차이가 적어 정렬하기 쉽지만, 근경은 시차가 크기 때문에 카메라 가까이에 있는 물체의 테두리가 어긋나기 쉽습니다.
두 번째 단계는 ‘영역 선택’입니다. 중앙 부분은 망원 렌즈의 고해상도 이미지를 채택하고, 주변부는 메인(또는 초광각) 카메라의 넓은 이미지를 사용하여 각 렌즈가 가장 잘하는 영역을 담당하게 합니다.
세 번째 단계는 ‘경계선 보정’입니다. 중앙은 뚜렷하고 주변은 다소 흐릿할 때 경계가 부자연스러우면 위성 지도에서 고해상도 구역과 저해상도 구역이 땜빵처럼 겹쳐 보이는 현상이 일어납니다. 개발자는 해커뉴스 디스커션에서 해결 방법을 설명했습니다. 경계 부분에 깃털처럼 부드럽게 겹치는 페더링(Feathering) 처리를 적용하여 자연스럽게 넘어가도록 하고, 두 사진의 색감과 밝기를 통일시켜 중앙과 주변부의 톤 차이를 줄이는 것입니다.
덧붙여 두 사진의 노출을 다르게 찍으면 명암 정보까지 통합할 수 있습니다. 한 쪽 사진에서는 밝은 부분의 계조를 살리고 다른 쪽에서는 어두운 부분의 디테일을 보존하여 합치면 명암 묘사가 훨씬 풍부해집니다. 이는 HDR의 기존 아이디어이며 듀얼 렌즈 합성에서도 자연스럽게 적용할 수 있는 부분입니다.
이렇게 단순한 아이디어를 왜 지금까지 아무도 성공시키지 못했을까
해커뉴스 댓글란에는 “스마트폰의 다중 렌즈는 도대체 왜 달려 있는 건가? 단순히 장식용인가?”라는 직설적인 질문이 올라오기도 했습니다. 사실 여러 렌즈를 동시 합성한다는 아이디어 자체는 새로울 것이 없습니다. 2017년에는 16개의 렌즈를 장착한 Light L16이라는 카메라인 multiple-lens 디바이스가 나와 여러 화각을 고해상도 한 장으로 합성하려 했으나 가격과 사용자 경험 문제로 단종되었습니다. 2019년 노키아의 Nokia 9 PureView는 5개 렌즈 합성을 시도했고, 더 일찍이 2014년 아마존의 Fire Phone 역시 유사한 시도를 한 적이 있습니다. 개념이 오래전부터 존재했다는 것은 진짜 난관이 다른 곳에 있음을 뜻합니다.
난관 첫 번째, 두 렌즈가 완전히 동일한 시각에 셔터를 눌러야 합니다. 몇 밀리초만 차이가 나도 움직이는 물체에 잔상이 생깁니다. 난관 두 번째, 서로 다른 화각이 만드는 시점과 투시 왜곡이 달라 기하학적 교정이 매우 까다롭습니다. 난관 세 번째, 시차 때문에 가까운 물체의 테두리가 잘 맞아떨어지지 않습니다. 댓글란에서는 한 셀카 샘플에서 귀 윤곽선에 눈에 띄는 어긋남이 관찰되었다고 지적했습니다. 개발자 본인도 댓글을 통해 모든 샘플이 완벽하지는 않음을 인정했으며, 일부 사용자들은 공식 카메라 앱의 결과물보다 색감이나 명암 대비가 조율 과정에서 다소 밋밋해졌다고 평가했습니다.
댓글 중에는 “이거 전문 카메라에서 오래전부터 쓰던 다중 프레임 합성 아닌가?”라는 통찰 있는 지적도 있었습니다. 일리 있는 지적이지만 두 방식은 본질적으로 다릅니다. 전문 카메라의 다중 프레임 합성은 하나의 렌즈로 연속 촬영을 하여 노이즈와 어두운 부분을 개선하는 방식입니다. 반면 Photosynthesis는 두 개의 렌즈로 동시에 촬영하여 ‘넓게 찍고 싶으면서도 선명하게 찍고 싶다’는 양립하기 힘든 모순을 해결하려는 시도입니다. 어려운 점은 모든 과정을 오차 없이 완성하는 데 있습니다.
애플 공식 카메라는 왜 이 방식을 기본 적용하지 않을까
애플이 이러한 방식을 ‘생각해내지 못했다’고 보기는 어렵습니다. 애플은 2016년부터 시스템 차원에서 다중 렌즈 융합 기술을 적용해 왔으며, 2019년 아이폰 11에서는 딥 퓨전(Deep Fusion, 동일 렌즈의 연사 이미지를 인공지능 엔진으로 합성)과 야간 모드를 선보였습니다. 즉, 공식 카메라는 이미 사용자 몰래 여러 장의 사진을 하나로 합성하는 계산 사진 기술을 작동시키고 있었습니다.
그렇다면 애플은 왜 ‘두 렌즈 동시 촬영’을 기본 기능으로 넣지 않았을까요? 공식 카메라 앱이 추구하는 제1목표는 거의 모든 촬영 환경에서의 압도적인 안정성입니다. 그러나 듀얼 렌즈 동시 합성 방식은 근거리 촬영이나 빠르게 움직이는 물체 앞에서 촬영 오류가 나기 쉽고, 두 카메라를 동시에 구동하면 배터리 소모와 이미지 처리 프로세서(ISP) 부담이 커집니다. 이 이득이 극대화되는 상황은 공연장처럼 ‘멀리 있는 무대 인물도 선명하게 찍으면서 현장의 넓은 분위기도 담고 싶은’ 경우나, 촬영 후 마음대로 크롭하고 싶은 특정 상황에 한정됩니다.
사진: 음악 페스티벌 무대 샘플 — 멀리 있는 밴드의 선명함과 가까운 관객의 현장 분위기를 모두 담았습니다. 출처: photosynthesis.camera
또 하나의 기술적 배경이 있습니다. 애플이 서드파티 개발자에게 ‘다중 카메라 동시 캡처 API’를 개방한 것은 2019년 iOS 13부터입니다. 인디 개발자 입장에서 이 기술을 실제로 구현할 수 있게 된 지는 불과 몇 년 되지 않았습니다. 또한 Photosynthesis는 애플과 반대의 길을 택했습니다. 애플이 모든 판단을 사용자 몰래 자동 처리한다면, Photosynthesis는 초록색 괄호로 “이 중앙 영역이 훨씬 선명합니다”라고 사용자에게 명확히 알리고 결정권을 건네는 방식을 사용합니다.
이 앱은 현재 초기 베타 테스트 단계이며 2026년 여름 정식 출시를 목표로 하고 있습니다. 구독제로 운영될 예정이며 무료 버전은 한 달에 3장의 사진만 내보낼 수 있도록 제한됩니다. 앱을 제대로 활용하려면 결제가 필수적이라는 점이 댓글에서 가장 많은 논쟁이 일어난 부분이기도 합니다.
마치며
이 앱의 성공 여부를 지금 판단하기는 이릅니다. 최종 성패는 정식 버전의 완성도에 달려 있을 것입니다. 하지만 이번 이슈에서 정말 눈여겨봐야 할 점은 다른 곳에 있습니다. 스마트폰의 카메라 렌즈 개수는 이미 일상적인 필요 수준을 넘어섰고, 그렇게 남는 하드웨어는 이를 제대로 활용해 줄 소프트웨어를 오랫동안 기다려 왔습니다. 시차나 동적 범위 같은 전문 용어들이 거창하게 들릴 수 있지만, 일상 속으로 들어가면 “두 렌즈로 각각 찍어서 더 나은 한 장으로 합성한다”는 단순한 아이디어에 불과합니다. 생각 자체는 누구나 할 수 있지만, 중요한 것은 모든 디테일을 끈기 있게 완성해내는 실행력일 것입니다.
참고 링크:
- Photosynthesis 공식 사이트: 듀얼 카메라 동시 촬영 및 합성 앱 소개, 샘플 비교
- 해커뉴스 커뮤니티 디스커션: “Show HN: iPhone app takes simultaneous images from 2 lenses, fuses into 1 photo” (Item ID 49226623, 개발자 본인 답변 포함)
- 애플 WWDC 2019 개발자 세션: iOS 13부터 서드파티에 개방된 다중 카메라 동시 캡처 API
- PetaPixel 리뷰: 16개 렌즈를 탑재했던 Light L16 카메라의 성패 회고
