왜 AI는 클라우드를 떠나기 시작했는가

오픈AI의 서버 운영 변동비는 2022년 월 600억 원 수준에서 불과 1년 만에 910억 원으로 치솟았다. 사용자가 쿼리 하나를 날릴 때마다 데이터센터의 GPU 클러스터가 수십 와트를 태운다. 이 구조적 비용 압박이 AI의 엣지 이동을 강제하는 근본 동력이다. 클라우드 AI는 스케일이 커질수록 단위 경제가 악화되는 반면, 온디바이스 AI는 기기가 이미 구매된 이후엔 추가 연산 비용이 사실상 제로에 수렴한다.

2019년의 반도체 산업은 데이터센터 GPU에 집중된 자본 배분이 압도적이었다. 당시 NPU는 애플의 뉴럴 엔진이나 퀄컴의 헥사곤 프로세서 정도가 고작이었고, 시장의 주류 담론에서 밀려나 있었다. 그런데 2024년 삼성 갤럭시 S24 시리즈가 ‘최초의 온디바이스 AI 스마트폰’을 선언하면서 판이 뒤집혔다. 엑시노스 2400에 탑재된 NPU의 성능은 전전 세대인 2200 대비 14.7배 향상됐다. 하드웨어의 혁신 속도가 소프트웨어의 수요를 끌어당기는 시대가 열린 것이다.

가트너는 2027년까지 AI 관련 데이터 유출의 40% 이상이 클라우드 기반 생성형 AI의 오용에서 발생할 것이라고 경고했다. 개인정보 보호와 레이턴시(지연) 제거라는 두 가지 명제가 온디바이스 AI를 단순한 비용 절감 수단이 아니라, 엔터프라이즈와 소비자 모두에게 필수 인프라로 격상시키고 있다.

NPU 설계 전쟁: 퀄컴·애플·ARM의 삼각 구도

NPU(Neural Processing Unit)는 신경망 연산, 특히 스칼라·벡터·텐서 수학으로 구성된 AI 워크로드를 CPU나 GPU 대비 수십 배 낮은 전력으로 처리하도록 특화 설계된 반도체다. 핵심 지표는 TOPS(테라 연산/초)이며, 생성형 AI를 스마트폰에서 실시간 구동하려면 최소 30 TOPS 이상이 요구된다.

퀄컴: 헥사곤 NPU와 이기종 컴퓨팅의 패권

퀄컴의 접근법은 이기종 컴퓨팅(Heterogeneous Computing)이다. 헥사곤 NPU를 중심에 두고, 오라이온(Oryon) CPU와 아드레노 GPU가 워크로드에 따라 협력하는 구조다. 2026년 퀄컴 스냅드래곤 X2 엘리트는 NPU 단독으로 85 TOPS에 도달했으며, 회사 측은 경쟁사 대비 NPU 성능이 약 100배 향상됐다고 밝혔다. PC 시장에서 인텔을 전력 소비 기준 3분의 1 수준으로 압도하면서 AI PC 생태계의 주도권을 선점하고 있다. 스냅드래곤 8 엘리트는 130억 개 이상의 파라미터를 가진 LLM을 클라우드 없이 온디바이스로 실행하는 첫 모바일 칩이 됐다.

애플: 폐쇄 생태계가 만드는 AI 해자

애플의 전략은 다르다. A17 Pro에 35 TOPS NPU를 탑재하고, M3 칩에 16코어 18 TOPS 뉴럴 엔진을 심었다. 단순 수치만 보면 퀄컴에 밀리는 것처럼 보이지만, 애플의 진짜 강점은 하드웨어-소프트웨어 수직 통합이다. 애플 인텔리전스는 온디바이스 모델과 클라우드 모델을 원활하게 교차하는 ‘하이브리드 AI 아키텍처’를 채택했고, 사용자의 디바이스를 떠나지 않는 개인 데이터 처리로 경쟁사와 차별화했다. 반도체 성능 지표가 아닌 생태계 잠금(ecosystem lock-in)이 애플의 진정한 해자다.

ARM: 로열티 모델로 설계 전쟁에서 모든 파이를 차지하다

ARM은 싸우지 않고 이긴다. 퀄컴이 오라이온 CPU를 자체 설계하든, 삼성이 엑시노스를 만들든, 미디어텍이 디멘시티를 내놓든, 거의 모든 모바일 칩은 ARM 아키텍처에 라이선스 로열티를 지불한다. ARM은 최근 AI 중심 칩 설계와 관련한 로열티 및 라이선스 수요 급증으로 기록적인 성장을 달성했다. 분석가들은 2028년까지 ARM의 연간 매출이 74억 달러에 달할 것으로 전망하며, AI 시대의 수혜를 가장 구조적으로 누릴 기업으로 지목한다.

모바일 DRAM 시장의 조용한 혁명: LPDDR5X에서 LPDDR6로

온디바이스 AI가 불러온 가장 과소평가된 변화는 바로 모바일 메모리 시장의 질적 전환이다. AI 추론 워크로드는 학습(Training) 대비 약 3배의 메모리 사용량을 요구한다. 실시간으로 거대 파라미터를 불러오고 처리해야 하므로, 용량과 대역폭 모두에서 기존 모바일 DRAM의 규격을 밀어붙이고 있다.

2025년까지 모바일 기기 제조업체의 78% 이상이 LPDDR5 또는 LPDDR5X로 전환을 완료했다. LPDDR5X는 이전 세대 대비 성능을 최대 25% 향상시키면서 전력은 25% 절감하는 규격으로, 스마트폰의 배터리 수명을 지키면서도 AI 연산을 가능하게 하는 핵심 기술이다. 삼성의 LPDDR5X는 단일 패키지로 최대 32GB를 지원하며, 10.7 Gbps의 데이터 전송 속도를 달성했다.

그리고 그 다음 세대인 LPDDR6의 표준이 이미 확정 단계에 들어서 있다. LPDDR6는 단순한 공정 미세화가 아닌, 회로·전력 관리 단계부터 AI 시대 요구에 맞게 전면 재설계된 메모리로, CES 2026에서 삼성이 혁신상을 수상했다. 자동차, AI PC, 엣지 서버까지 응용처가 확장된다. 퀄컴 스냅드래곤 8 차기 세대부터 LPDDR6를 지원할 것으로 업계는 내다보고 있다.

더욱 주목할 만한 변화는 LPDDR의 서버 침투다. 엔비디아의 Grace Superchip이 LPDDR5X를 채택한 이후, 구글·아마존·메타 등 하이퍼스케일러들도 서버용 LPDDR 도입을 검토하기 시작했다. AI 서버 한 대가 모바일 기기보다 30~40배 많은 LPDDR을 탑재하며, 서버용 LPDDR의 이익률은 HBM에 준하는 40~50%에 달한다. 모바일에서 출발한 저전력 메모리가 데이터센터를 역침투하는 아이러니한 흐름이 전개되고 있다.

PC·자동차까지 확장되는 AI 엣지 컴퓨팅 생태계

온디바이스 AI 전쟁은 스마트폰 하나로 끝나지 않는다. AI의 스마트폰 침투율은 2024년 9%에서 2027년 39%로, PC 침투율은 11%에서 53%로 확장될 전망이다. 2026~2027년은 이 기기들이 본격 상용화되는 전환점이다.

자동차 전자 부문도 새로운 전선이 열렸다. 새로 출시된 전기차의 47%가 ADAS와 인포테인먼트 시스템에 LPDDR 메모리를 탑재하며, 자동차 부문 LPDDR 수요는 2024년 한 해만 41% 급증했다. 자율주행 시스템은 클라우드로의 데이터 전송 지연이 생사를 가를 수 있기 때문에, 온디바이스 AI가 단순한 편의 기능이 아닌 안전 필수 요소가 된다. 퀄컴은 이미 ADAS(첨단 운전자 보조 시스템) 플랫폼을 고도화하며 BMW를 시작으로 고객사를 확대하고 있다.

삼성증권에 따르면, 향후 3년간 스마트폰 3억 900만 대와 PC 1억 8천만 대가 온디바이스 AI 기기로 공급될 전망이다. 이를 반영하면 2026년 기준 모바일과 PC 중심의 시스템 반도체 시장에서만 약 25조 8천억 원의 부가가치가 창출될 것으로 추산된다. AI 반도체 전체 시장은 2022년 411억 달러에서 2028년 1,330억 달러로 연평균 21.6% 성장이 전망된다.

반론과 재반론: 온디바이스 AI 투자의 함정

온디바이스 AI 반도체 투자를 위한 5단계 로드맵

1. 1

   NPU 세대별 사양 기반 ‘성능 갭’ 모니터링

   투자 판단의 출발점은 현세대 대비 차세대 NPU의 TOPS 향상률이다. 스냅드래곤 서밋(10월), 애플 이벤트(9월), ARM 테크 데이(11월) 등 연간 발표 일정에 맞춰 분기별 포지션을 점검하라. NPU 성능 향상률이 전년 대비 30% 이상인 해는 교체 수요 급증 사이클의 전조다.

2. 2

   LPDDR 가격 지수 및 공급 타이트닝 지표 추적

   DRAMeXchange와 트렌드포스의 LPDDR5X 계약 가격 변동을 월별로 모니터링하라. HBM 생산 비중이 상승하는 분기는 LPDDR 공급 타이트닝이 동반되는 경향이 있다. 삼성전자·SK하이닉스의 모바일 DRAM 사업부 가이던스도 연동해서 분석해야 한다.

3. 3

   ARM 주가와 로열티 증가율의 괴리 분석

   ARM 홀딩스 주가는 AI 테마와 함께 급등했으나, 실제 로열티 수익 성장률(전년 대비)을 분기마다 대조하라. 주가가 이익 성장률 대비 과도하게 선행할 경우 밸류에이션 부담이 생긴다. ARM의 공정 가치를 독립적으로 산정하는 18가지 이상의 추정 방법이 존재하며, 현재 시장 컨센서스와의 괴리를 정기 점검하는 것이 필수다.

4. 4

   국내 AI 경량화·소부장 밸류체인 편입 검토

   온디바이스 AI의 확산은 모델 경량화(On-Device Optimization) 기술 수요를 동반한다. 삼성·엔비디아·퀄컴과 기술 협력 관계를 구축한 국내 AI 경량화 플랫폼 기업들(노타 등)과, 엑시노스·스냅드래곤 공급망에 편입된 PCB·반도체 후공정 기업들의 수주 파이프라인을 분기별로 점검하라. 가온칩스, 칩스앤미디어, 오픈엣지테크놀로지 등이 주목할 만한 소부장 밸류체인이다.

5. 5

   포트폴리오 내 온디바이스 vs 데이터센터 AI 비중 균형 설정

   데이터센터 AI(엔비디아·TSMC 중심)와 온디바이스 AI(퀄컴·ARM·모바일 DRAM)는 사이클 타이밍이 다르다. 전자는 2023~2025년에 급격한 주가 상승이 선행했다. 온디바이스 AI는 2026~2028년이 실제 수익 실현 구간으로 예상된다. 리밸런싱 관점에서 온디바이스 비중을 현재보다 10~15%p 높이는 전략을 검토할 시점이다.