AI PC를 지금 구매한다면 NPU의 TOPS 수치보다 그 칩셋에서 NPU를 실제로 활용할 수 있는 소프트웨어가 얼마나 갖춰져 있는지를 먼저 확인하는 편이 안전합니다. 하드웨어 스펙은 빠르게 올라가고 있지만, 그 성능을 끌어다 쓰는 소프트웨어 생태계는 아직 속도를 따라잡지 못한 상태이기 때문입니다. 컴퓨텍스 2026 발표에서는 이 격차를 좁히려는 방향성이 비교적 분명하게 제시됐습니다.
CPU·GPU가 있는데 왜 NPU를 따로 두는가
AI 추론 연산 자체는 CPU나 GPU만으로도 가능합니다. 그럼에도 NPU를 별도로 탑재하는 이유는 전력 효율 때문입니다. CPU는 행렬 연산에서 와트당 처리량이 낮고, GPU는 처리량은 높지만 소비전력이 커서 노트북처럼 배터리로 동작하는 환경에서는 발열과 쓰로틀링이 따라옵니다.
NPU는 AI 추론에서 자주 등장하는 행렬 연산에 특화된 고정 함수형 가속기입니다. 범용성을 포기한 대신 동일한 결과를 훨씬 적은 전력으로 처리합니다. 퀄컴 스냅드래곤 X2 엘리트의 NPU는 45TOPS(초당 45조 회 연산)를 넘는 수치를 내세우고 있고, 이 칩셋을 탑재한 삼성 갤럭시 북6 엣지가 출시되면서 해당 스펙이 한층 주목받았습니다.
다만 TOPS는 어디까지나 이론 최댓값이라는 점을 기억해야 합니다. 실제 처리량은 모델 크기와 연산 정밀도(INT4, INT8, FP16 등)에 따라 크게 달라지기 때문에, 숫자 자체를 성능 지표로 그대로 받아들이면 곤란합니다.
지금 NPU가 실제로 일하는 영역
NPU가 안정적으로 활용되는 영역은 생각보다 좁습니다. Windows Copilot의 일부 기능, 화상회의의 배경 제거, 마이크 노이즈 캔슬링, 라이브 캡션 정도가 대표적입니다. 7B 파라미터급 이상의 대형 언어 모델을 로컬에서 돌리는 것도 기술적으로 불가능하지는 않지만, NPU 단독으로는 한계가 있고 통합 메모리 대역폭이 함께 받쳐줘야 실용적인 속도가 나옵니다.
기업 환경에서 현실적으로 의미가 있는 활용처는 다음과 같습니다.
- 화상회의 중 실시간 번역과 회의록 자동 요약
- 내부 문서 자동 분류 및 태깅
- 오프라인 환경에서의 자연어 검색
이 워크로드들은 모델 크기가 비교적 작고 반복 빈도가 높습니다. 무엇보다 데이터가 외부 서버로 나가지 않아 보안 측면의 이점이 분명합니다. 사내 기밀 문서를 다루는 부서일수록 온디바이스 처리의 가치가 커집니다.
분산형 AI, 클라우드의 대체가 아닌 보완
퀄컴이 컴퓨텍스 2026 기조연설에서 제시한 ‘분산형(Distributed) AI’는 온디바이스 AI를 클라우드의 대체재가 아닌 보완재로 정의하는 구조입니다. 지능형 오케스트레이터가 연산의 성격을 판단해, 기기 내 NPU와 GPU로 처리 가능한 부분은 로컬에서 끝내고 그 이상이 필요한 부분만 클라우드로 보내는 방식입니다.
퀄컴이 공개한 실측 자료에 따르면 코딩 작업에 분산 처리를 적용했을 때 동일 결과 기준 클라우드 인프라 운영 비용이 60% 감소했다고 합니다. 웹페이지 제작 시연에서는 토큰 사용량 30% 절감, 인프라 비용 4배 절감이라는 수치도 제시됐습니다. 단, 이는 퀄컴 자체 발표 기준이라 다양한 실환경에서의 재현성은 별도 검증이 필요합니다.
이 관점에서 보면 NPU의 역할이 명확해집니다. 단순히 로컬에서 AI를 돌리는 것이 목적이 아니라, 전체 AI 연산의 비용과 지연 시간을 최적화하는 분산 시스템의 엔드포인트로 작동하는 것입니다. 아몬 퀄컴 CEO가 “와트당 토큰 수익률을 따져야 하는 시대”라고 표현한 배경이기도 합니다.
토큰 수요 폭증과 온디바이스 처리의 필요성
현재 AI 사용은 사용자가 묻고 AI가 답하는 단방향 구조가 대부분이며, 한 번의 질의응답에 약 1만 토큰이 소모됩니다. 멀티 턴 추론으로 넘어가면 한 작업당 약 10만 토큰, 사용자 개입 없이 복수 작업을 자율적으로 처리하는 에이전틱 AI 단계에서는 건당 100만 토큰 이상으로 늘어납니다. 두 세대 사이에 약 100배의 격차가 생깁니다.
퀄컴이 제시한 통계에 따르면 글로벌 토큰 수요는 현재 10초당 약 317억 개 수준에서 2030년에는 10초당 1조 2700억 개까지 증가할 것으로 추산됩니다. 이 모든 연산을 중앙 집중형 클라우드에서 처리한다면 전력과 비용 모두 감당이 어려운 규모입니다. 온디바이스 처리가 선택이 아니라 구조적으로 필요해지는 이유가 여기에 있습니다.
자주 묻는 질문
내 노트북의 NPU가 실제로 작동하는지 확인하는 방법은?
Windows 11이라면 작업 관리자(Task Manager)의 성능 탭이나 리소스 모니터에서 NPU 사용률을 직접 확인할 수 있습니다. 인텔 Core Ultra와 퀄컴 스냅드래곤 X 시리즈에서는 대부분 지원되고, AMD Ryzen AI 계열도 확인은 가능하지만 표시 방식이 다소 다릅니다. 칩셋과 드라이버 버전에 따라 차이가 있으므로 제조사 공식 페이지에서 한 번 더 확인하는 편이 안전합니다.
TOPS 수치가 높으면 무조건 좋은 NPU인가요?
TOPS는 이론적 최대 처리 능력일 뿐입니다. 실제 성능은 모델 크기, 연산 정밀도, 메모리 대역폭, 소프트웨어 최적화 수준에 따라 결정됩니다. 45TOPS짜리 NPU라도 그것을 활용하는 소프트웨어가 없으면 사실상 놀게 됩니다. 숫자보다 그 칩셋용 NPU 가속 소프트웨어가 얼마나 갖춰져 있는지를 함께 보는 것이 합리적입니다.
기업이 온디바이스 AI를 도입할 때 가장 현실적인 출발점은?
현시점에서 가장 검증된 영역은 화상회의 보조(노이즈 제거, 배경 처리), 문서 요약과 분류, 오프라인 번역입니다. 데이터가 외부로 나가지 않는다는 점에서 기밀 환경에 적합합니다. 반면 복잡한 코드 생성이나 대용량 컨텍스트 처리는 아직 클라우드 의존도가 높아, 이 영역은 분산 처리 구조를 함께 설계해야 합니다.
2프로의 한 줄 정리
NPU와 TOPS가 AI PC 마케팅의 전면에 나서고 있지만, 그 성능을 실제로 끌어다 쓰는 소프트웨어 지원은 아직 따라오는 중입니다. 퀄컴의 분산형 AI 구조는 방향성으로는 타당하지만, 기업 IT 환경에서 효과가 검증되기까지는 시간이 더 필요해 보입니다. AI PC 도입을 검토 중이라면 칩셋 스펙보다 사내에서 실제로 쓸 업무 소프트웨어가 NPU를 얼마나 활용하는지를 먼저 점검하는 편이 안전합니다. 하드웨어를 먼저 사두고 소프트웨어를 기다리는 방식은 예산 측면에서 부담이 큰 도박이 됩니다.
컴퓨텍스 2026 현장의 발표 자료와 추가 그래프는 네이버 블로그 원본에 더 상세히 정리해 두었으니 함께 살펴보시면 도움이 될 거예요.
※ 본 글에 언급된 수치와 스펙은 작성 시점 기준이며 이후 변동될 수 있습니다. 정확한 제품 스펙은 각 제조사 공식 사이트에서 확인하시기 바랍니다. 퀄컴 발표 데이터는 자사 발표 기준이며 독립적인 제3자 검증 결과와는 다를 수 있습니다.