국민대학교 소프트웨어융합대학 윤종영 교수

“내가 꼭 이런 용어까지 알아야 할까?”

요즘 비즈니스 현장에서 기술이 미치는 영향이 커지며 다양한 기술 용어가 필수처럼 여겨지고 있다. 특히 인공지능 분야는 더욱 알아야 할 용어가 많다. 머신러닝, 딥러닝, 생성형 AI, 거대언어모델 등. 이런 용어를 익히기도 바쁜데 최근에 또 하나의 용어가 등장했으니 ‘온디바이스(on-device) AI’다.

얼핏 봐선 일반인에겐 의미 없는 단어 같지만, 사실은 그렇지 않다. 향후 우리 비즈니스를 바꿀 것으로 보이는 아주 중요한 개념이기에 알아 놓는 편이 좋다. 온디바이스 AI가 무엇이고 왜 중요한지, 또 이것이 일상화될 가까운 미래에는 어떤 서비스가 가능할지 알아보도록 하자.

인터넷 연결 없이 자체 AI 기능 가진, 온디바이스 AI

온디바이스 AI는 말 그대로 인터넷 연결이 필요 없이 스마트폰이나 태블릿 같은 디바이스에서 자체적으로 작동하는 인공지능을 말한다. 챗GPT와 같은 AI 서비스는 인터넷에 연결되어야만 사용할 수 있지만, 온디바이스 AI는 데이터를 외부 서버로 전송하지 않고 기기 내에서 실시간으로 처리한다.

우리 일상 속, 특히 스마트폰에서는 이미 온디바이스 AI가 활용되고 있다. 그 예로는 사진 속 피사체를 인물 또는 장소에 따라 구분하거나, 사진에서 원하는 부분만 떼어내는 작업(일명 ‘누끼 따기’)을 들 수 있다. 이는 디바이스에 탑재된 프로세서와 인공지능 모델을 활용하여 데이터를 내부적으로 처리함으로써 사용자가 원하는 결과를 도출해 내는 것이다. 최근의 온디바이스 AI 기술은 신경처리장치(Neural Processing Unit, NPU)라고 하는, 전력 소모가 적으면서도 AI 추론을 효율적으로 수행하는 전용 프로세서를 통해 발전하고 있다.

’진짜’ 빠른 속도가 주는 삶의 변화

최근 삼성이 공개한 신형 스마트폰은 온디바이스 AI를 통해 인터넷 연결 없이도 실시간 번역 기능을 제공하여 주목을 받았다. 그런데 현대 사회에서 인터넷이 없는 상황을 상상하기란 쉽지 않다. 마치 전기처럼 우리 삶의 필수적인 요소가 된 인터넷. 그럼에도 인터넷이 필요 없는 온디바이스 AI가 중요시되는 이유는 무엇일까?

먼저, 속도가 빠르다는 점이 그 이유다. 인터넷에 연결해 클라우드 서비스를 이용할 필요가 없고, 데이터 센터의 서버 자원을 공유하지 않으며 자신의 기기만을 사용하기 때문에 실시간으로 번역을 제공하거나 수초 내에 고품질 이미지를 생성하는 일이 가능하게 된다. 하지만 이 또한 사용자에게는 큰 장점으로 느껴지지 않을 수도 있는데, 클라우드 서비스도 이미 충분히 빠른 속도를 제공하기 때문이다.

그러나 서비스를 제공하는 기업의 입장에서는 다를 수 있다. 온디바이스 AI를 활용함으로써 비용 절감이 가능해지기 때문이다. 특히 생성형 AI 모델이 복잡해지고 사용자가 증가함에 따라 필요한 인프라 비용이 기하급수적으로 늘어나고 있는데, 간단한 AI 작업의 경우 스마트폰 등 개인용 기기의 자원을 이용함으로써 클라우드 인프라 비용을 절약할 수 있고, 이는 사용자에게 혜택으로 환원될 수도 있다.

개인 맞춤과 정보 보완, 두 마리 토끼를 잡다

온디바이스 AI가 가진 더 큰 장점은 개인 프라이버시와 기업 정보의 보호 강화에 있다. 아직은 챗GPT 같은 AI 서비스에 맛집을 추천받는 것보단, 나를 잘 아는 친구에게 추천받는 음식점이 더 유용한 경우가 많다. AI가 나만의 취향과 내가 주로 가는 동네 등을 파악하고 있진 못하기 때문이다. AI가 개인이나 기업에 진짜 도움을 주려면, 각각의 주체들이 가진 정보를 최대한 많이 알아야 한다. 하지만 그런 정보를 온라인 상에 공유하긴 쉽지 않다. 온디바이스 AI는 개인의 건강 상태나 기업 기밀 등 민감한 정보를 클라우드로 전송해서 처리하지 않고 스마트폰 내에서 처리하기 때문에 다양한 인공지능 서비스를 보다 안심하고 이용할 수 있게 된다.

서비스 공급자를 비롯한 타인에게 공유하기 꺼려질 수 있는 개인 데이터(나이, 건강 상태, 취향 등)나 디바이스에 장착된 카메라, 마이크, 그리고 여러 센서 데이터를 활용하여 사용자의 필요에 더욱 적합한 답변을 추론하고 제공함으로써 개인 맞춤형 서비스의 수준을 높일 수 있다는 점이 바로 온디바이스 AI의 커다란 장점이 된다.

온디바이스 AI가 바꾸는 미래

온디바이스 AI는 일상적인 스마트폰에서부터, 스마트워치, 확장현실(XR) 헤드셋에 이르기까지 다양한 기기와 상호 작용하는 방식을 변화시키고 개인화된 서비스를 제공함으로써 우리의 일상생활에 영향을 미치게 될 것으로 예상된다. 몇 가지 예를 살펴보도록 하자.

– 개인 맞춤형 AI 어시스턴트: 사용자의 선호도, 습관, 위치 정보 등을 기반으로 맞춤형 정보 제공, 일정 관리 등을 지원한다.

– 실시간 번역: 사용자의 목소리를 인식하여 다른 언어로 실시간 번역한다.

– 맞춤형 콘텐츠 추천: 사용자의 시청 기록, 검색 기록, 구매 기록 등을 분석하여 사용자 취향에 맞는 콘텐츠를 추천한다.

– 작업 자동화: 사진 분류, 문서 정리, 음성 메모 작성 등 반복적인 작업 자동화한다.

– 개인 데이터 보호: 사용자의 개인 데이터를 기기 내에서 안전하게 저장하고 처리하여 유출 방지한다.

– XR 및 웨어러블 기기 기능 확장: 동작 및 활동 추적, 건강 관리, 알림 제공 등의 기능 강화한다.

이와 같이 온디바이스 AI를 장착한 기기는 사용자의 선호도를 실시간으로 학습하고 적용하여 극도로 개인화된 서비스 제공이 가능해진다. 단지 스마트한 디바이스가 아닌, 우리의 필요를 이해하고 예측하는 진정한 인텔리전트 디바이스 시대가 열리고 있는 것이다.

마케터라면 놓치지 말아야 할 단어, 온디바이스 AI

물론 금빛 미래만 기다리는 건 아니다. 온디바이스 AI에도 한계는 있다. 바로 하드웨어 문제로, 스마트폰이나 태블릿, XR 헤드셋과 같은 개인용 기기의 성능이 제한적이기 때문이다. 예를 들어, GPT-3의 경우 1,750억 개의 매개변수를 가지고 있으며 이를 실행하려면 고성능의 인프라가 필요하고, 당연히 모바일 기기에서는 이를 구현하기 어려울 수밖에 없다.

이러한 문제를 해결하기 위해서는 매개변수를 줄이면서도 성능 저하를 최소화한 AI 모델의 개발이 온디바이스 AI 시대의 필수 요소로 여겨지고 있다. 그리고 현재의 기술 발전 추세를 고려할 때, 온디바이스 AI의 성능이 향상되는 것은 시간문제일 것이다.

아직은 도입 단계이지만 온디바이스 AI는 다양한 분야에서 활용될 가능성이 높다. 시장 조사 기관인 IDC는 온디바이스 AI 시장이 2027년까지 1,500억 달러 규모로 성장할 것이라고 전망했다. 이처럼 앞으로 더욱 발전될 온디바이스 AI 기술은 우리 일상을 더욱 편리하고 안전하게 만들어 줄 것이며, 개인화된 서비스를 제공하여 사용자의 만족도를 높이게 될 것이다.

요즘처럼 광고 마케팅 종사자들이 다양한 기술 용어를 알아야 하는 시기가 또 없었을 것이다. 바쁜 비즈니스 현장 탓에 때론 신기술에 관심을 끄고 싶을 때도 있을 것이다. 하지만 AI 기술을 손안에서 만날 수 있게 하는 온디바이스 AI는 우리가  간과할 수 있는 개념이 아니다. AI가 가져 바꿀 미래를 기대하며, 이에 대한 준비를 시작해야 할 때다.

윤종영 국민대학교 소프트웨어융합대학 교수

국민대학교 소프트웨어융합대학원에서 인공지능과 블록체인을 가르치고 있으며, 다양한 활동을 통해 인공지능 활용의 대중화에 힘쓰고 있다. 또한 AI양재허브 센터장을 역임하면서 수많은 인공지능 스타트업을 육성하기도 하였다. 미국 스탠포드대에서 커뮤니케이션을 공부하고, 실리콘밸리의 IT 컨설팅 회사를 시작으로 Facebook, Yahoo, Pinterest, Microsoft, IBM 등 다양한 기업에서 15년 넘게 IT 아키텍트로 커리어를 쌓았으며, 실리콘밸리 한국인 모임인 Bay Area K Group의 대표로도 활동했다.