최근 AI 기술은 클라우드(Cloud) 기반의 생성형 AI(Generative AI)¹⁾에서 에이전틱 AI(Agentic AI)²⁾로 발전하고 있으며, 더 나아가 현실 공간에서 자율적으로 인식하고 행동하는 피지컬 AI(Physical AI)³⁾로 진화하고 있다. 

이 중 AI 데이터 학습 및 추론 연산을 수행하는 ① AI 프로세서(반도체)와 더불어 AI 빅데이터를 저장하고 처리하는 ② AI 메모리·스토리지⁴⁾ 등 관련 반도체 기술이 AI 인프라의 기본·핵심(basic·core) 기술 계층이다. 

이러한 성장요인에 따라 AI 반도체 시장은 ’25년부터 5년간 연평균 25.9% 성장하여, ’29년 4,385억 달러 규모에 달하여 전체 반도체 시장의 약 39.3% 비중을 차지할 전망이다(Gartner, 2025.10).

그림 1. AI 반도체 시장 현황 & 전망 (2024~2029) (단위:억 달러, %)

자료 : Gartner(2025.10),“AI Processing Semiconductors, Worldwide, 3Q25 Update”

       Gartner(2025.10), “Semiconductor and Electronics Forecast, 3Q25 Update”

이러한 AI 반도체는 수요처(Data center vs On-device)와 특성( (General-Purpose vs Optimized)이라는 두 가지 기준으로 구분할 수 있다. 

범용(General-Purpose) AI 반도체는 다양한 AI 연산에 유연하게 대응하여 처리할 수 있도록 설계된 반도체이다. 따라서 특정한 기능에 특화되기보다는 다양한 AI 서비스에 적용할 수 있어 유연성이 높다. 현재는 엔비디아 GPU가 범용 AI 반도체 시장을 주도하고 있다.

이에 비해 최적화(Optimized) AI 반도체는 특정 AI 시스템·디바이스·알고리즘에 맞춰 설계되어 고도의 효율성·성능을 제공하는 반도체이다. 따라서 특정 AI 작업에 최적화되어 성능을 제공한다. 따라서 유연성은 낮지만, 특정 AI 작업에 있어 높은 성능과 낮은 전력 소모를 달성할 수 있다. 따라서 빅테크 및 팹리스 기업들이 특정 분야에 특화된 AI 반도체를 개발하여 제공하고 있다.

현재 AI 반도체를 이와 같은 수요처 및 특성에 따라 구분하여 주요 특징을 분석하고, 주요 AI 반도체 기업을 매칭해 정리해 보면 <표 1>과 같다. 

특히 현재 On-device 환경에서는 범용적인 솔루션(AI반도체+시스템SW)으로 다양한 AI 서비스·애플리케이션별 특성에 대응하기가 어려운 상황이다. 다양하고 세부적인 AI 활용 분야가 매우 많아, 이를 지원하는 하드웨어와 소프트웨어 스펙이 서로 달라 범용적인 솔루션을 만들기가 불가능한 상황이다. 따라서 특정 AI 애플리케이션·서비스에 최적화된 개별 AI 반도체와 시스템 SW의 개발과 제공이 필수적이다. 

최근 피지컬 AI가 활성화됨에 따라 On-device AI 환경에서 제한된 자원을 활용하는 효율성이 중요해지고 있다.⁵⁾ 따라서 피지컬 AI를 현실 세계의 자율기계 및 다양한 디바이스에 적용하여, 이를 구현 및 지원하기 위해서는 낮은 전력 소모에 효율적으로 활용되는 온디바이스 AI 반도체가 필수적이다. 이를 위해서 피지컬 AI를 지원하는 온디바이스 AI 반도체가 수요처에 따라 맞춤형으로 개발되는 동시에, 이렇게 맞춤형으로 개발된 온디바이스 AI 반도체를 효율적․효과적으로 활용할 수 있도록 최적화를 지원하는 기술 계층(Full Stacks)도 함께 제공해야 한다.

표 1. AI 반도체 구분 및 주요 기업 현황

자료 : 저자작성

주요 반도체 기업 중 Data-center용 AI 반도체 분야의 강자인 Nvidia가 Physical AI를 구현하기 위하여 On-device AI 반도체 분야에 적극적으로 진출하고 있다. 또한 모바일 반도체 분야에서는 Qualcomm이 On-device AI 반도체 사업을 활발하게 추진하고 있다. 우리나라도 주요 반도체 중소기업 및 신생기업이 Physical AI가 제공하는 새로운 시장 기회인 On-device AI 반도체 사업 진출을 모색하고 있다.

이러한 상황에서 중국은 AI 반도체를 개발에 주력하여 학습과 추론을 위한 Data-center용 반도체를 지속적으로 개발 및 출시하고 있다. 특히 중국은 미국의 기술 규제에 맞서 AI 반도체 자립을 강력하게 추진하여 데이터센터용 AI 반도체 시장에서 화웨이, 바이두, 캠브리콘 등 주요 기업들이 두각을 나타내고 있다. 이들 중국기업은 미국의 엔비디아와 같은 글로벌 AI 반도체 기업의 제품을 대체하기 위해 자체 기술개발에 박차를 가하여, 중국 내수 시장의 AI 반도체 수요를 흡수하고 있다.

특히 일부 기업은 Data-center 및 On-device 분야에 걸쳐 AI 반도체 사업을 보유하고 있다. 예를 들어, HiSilicon, Cambricon과 같은 기업은 클라우드 (데이터센터)에서부터 엣지 (디바이스)까지 포괄하는 AI 반도체와 시스템SW를 포함하는 솔루션을 제공하고 있다.

이 외에도 ROCKCHIP과 Allwinner는 주로 저가형 태블릿, 스마트 스피커 등에 사용되는 AI 반도체를 활용하여 온디바이스 AI를 구현하고 있으며 UNISOC과 HiSilicon은 모바일 AP(Application Processor)에 AI 기능을 통합하여 온디바이스 AI 시장을 주도하고 있다.

표 2. 중국 AI 반도체 (Datacenter) 기업 현황

자료 : 저자작성

표 3. 중국 AI 반도체 (On-device) 기업 현황

자료 : 저자작성

---

*각주

1) 텍스트, 이미지, 음악 등을 생성하는 AI

2) 목적을 수행하기 위한 계획을 수립하고 필요한 도구를 활용하여 실행하는 AI

3) 로봇, 자율주행차, 스마트 공간과 같은 자율 시스템(autonomous systems)이 실제의 물리적 세계(physical world)에서 복잡한 동작을 인식 및 이해하고 수행하는 AI

4) 다양한 AI 반도체의 데이터 처리를 지원하는 상호 보완적인 고성능 메모리가 필수적으로 요구 (HBMx, xDDR, DDRx. eSSD …)

5) 피지컬 AI는 다양한 수요처 서비스에 특화된 형태로 경량화된 소형 AI 모델을 활용하는 엣지 AI(Edge AI) 및 온디바이스 AI 방식으로 구현. 이를 통해 대형 AI 모델 중심의 클라우드 AI(Cloud AI) 방식으로 운영되는 생성형 AI가 가지는 구축 비용, 에너지 소모, 처리 지연, 개인정보 보안 문제 등의 한계점이 개선되고 있음

6) AI 반도체를 효율적․효과적으로 활용할 수 있도록 지원하는 기술 계층(Full Stacks)이 매우 중요, 예를 들어 AI 반도체와 동시에 제공되는 소프트웨어 SDK(Software development kit), 라이브러리, 개발 도구를 활용해 수요처 개발자는 더욱 쉽게 고성능 AI 애플리케이션을 개발할 수 있음

[참고문헌]

김민식·오정숙(2025), Physical AI 시대에 대응한 On-device AI 반도체 경쟁력 강화 방향, KISDI AI Outlook. Vol. 21.

김민식·오정숙(2024), 새로운 기회의 창으로 AI반도체 시장 현황과 전망, KISDI Perspective. July 2024 No.1.

Gartner(2025.10), “AI Processing Semiconductors, Worldwide, 3Q25 Update”.

Gartner(2025.10), “Semiconductor and Electronics Forecast, 3Q25 Update”.