NUI란 무엇인가?
그야말로 ‘NUI(Natural User Interface)의 시대’입니다. 2011년 마이크로소프트에 의해 시작된 저가의 동작인식 센서의 바람은 이제 다양한 센서들과 더불어 그 영역을 확장하고 있습니다. 삼성전자에 이어 애플도 손목시계 형태의 디바이스를 시장에 출시하면서 NUI의 본격적인 인식은 점차 확산되고 있습니다. 오늘 이 시간에는 NUI는 무엇이며 왜 많은 기업들이 NUI에 주목하는지 자세히 살펴보도록 하겠습니다.
과거 우리가 사용한 개인용 컴퓨터는 검은색 화면에 흰색 글씨만 있는 ‘도스화면’이라 불리는 시절부터 시작합니다. 그때는 화면에 깜박이는 커서도 신기하고 키보드를 치면 글자가 나오는 것도 신기한 시절 이었습니다. 화면이 80칸 30줄의 블록 단위로 구성되어 있음에도 우리는 여기에서 수많은 소프트웨어를 작동 시키고 사용해 왔습니다. CLI(Command Line Interface)방식으로 사용자와 대화하던 시절입니다. 그러던 어느 날 ‘마우스’라는 기기가 등장합니다.
키보드의 핫 키를 외우고 명령을 외워서 사용하던 시절에 마우스는 무용지물이었습니다. 간단히 키보드를 치면 되던 시절에 마우스는 매우 번거로운 도구 였습니다. 그러나 화면에 보이는 것을 클릭만 하면 되었기 때문에 누구나 쉽게 사용 할 수 있었고, 마우스에 맞춰 많은 것이 서서히 변화하기 시작합니다.
키보드와 함께 마우스도 사용이 가능하도록 인터페이스가 바뀌면서 마우스 중심의 운영체제를 사람들이 사용하기 시작하고 편리함을 느낍니다. 애플의 매킨토시와 마이크로소프트의 윈도우 95는 GUI라 불리는 ‘Graphic User Interface’의 대중화를 열게 됩니다.
이제는 당연히 마우스를 써야 하고, 화려한 그래픽의 화면을 갖지 않으면 사람들의 외면을 받게 되는 시대가 되었습니다. 마우스가 만들어진 지는 오래 되었지만 위와 같은 변화는 일반인의 손에 들어간지 단 몇 년 만에 일어난 일입니다. GUI기반의 운영체제는 그 생명이 오래 갑니다. 터치스크린의 시대에 와서도 GUI방식은 진화합니다. 마우스의 또 다른 형태인 터치는 사람들의 컴퓨터/스마트폰 사용에 큰 편리함을 줍니다.
마우스와 비슷한 터치는 GUI의 변화를 가져 왔습니다. 마우스가 화면의 정확한 위치를 찍어서 선택할 수 있는 반면 터치스크린은 주로 손을 이용하기 때문에 그러한 작업은 불편하게 되었습니다. GUI는 사용자의 입력장치에 맞게 변화하였습니다.
터치기반의 GUI는 컴퓨터/스마트폰 사용에 많은 변화를 가져오고 우리 생활에 밀접하게 만드는 계기가 되었습니다. 코닝이 만든 ‘A Day Made Of Glass’라는 영상을 보면 터치가 어디까지 진화했고 우리 생활에 얼마나 영향을 줄 수 있는지 알 수 있습니다.
코닝의 영상이 비현실적으로 느낄 수 있지만 이것은 미래가 아닌 현재의 모습입니다. ‘Archery Design’의 영상을 보면 좀 더 현실적으로 느낄 실수 있습니다. 일반적인 터치스크린에 멀티터치 기능을 이용하여 쉴(Shell)을 만들어 편리하게 사용하는 것을 볼 수 있습니다.
‘Archery Design’ 영상의 제작사는 이 영상의 제목을 ‘Natural User Interface’라고 붙였습니다. 분명 터치로 작동되는 Graphic User Interface인데 왜 ‘Graphic’을 빼고 ‘Natural’ 이라는 말을 넣었을까요?
사실 Natural 이라는 단어를 사용한 ‘Archery Design’의 영상은 의미를 매우 크게 본 것입니다. Natural User Interface는 자연스러운 상호작용에 의한 사용자 인터페이스 입니다. 이를 줄여 NUI라고 부릅니다. NUI는 기존의 마우스나 키보드처럼 사용자가 ‘결정’ 해서 선택하지 않더라도 어느 정도 사용자의 의사에 맞춰가면서 컴퓨터를 사용 할 수 있도록 하는 것입니다.
물론 ‘결정’의 순간이 오지만 이때도 마우스를 누르거나 하지 않습니다. 허공에 손을 움직여 마우스방향을 바꾸거나 음성을 통해 선택을 할 수도 있습니다. 필자는 NUI를 ‘의식적인 입력이 없는 입력’이라고 정의하고 싶습니다. 이러한 입력은 의식적으로 내가 관심이 가는 것을 알리지 않아도 컴퓨터가 알아서 판단하고 준비 할 수 있다는 장점이 있습니다.
예를 들어 광고판의 모델이 서 있는데 어떤 사람이 서서 모델의 모자를 보고 있는지 신발을 보고 있는지를 알아차리려면 기존에는 화면을 터치하거나 버튼을 눌러 관심이 있다는 표현을 해야 합니다. 하지만 화면의 어디를 보고 있는지를 자동으로 알아차리고 관련 정보를 상세히 보여준다면 그 광고를 보는 사람에게 개인화된 정보를 제공할 수 있을 것입니다. 우리는 이것을 Natural User Interface라고 부릅니다.
왜 Natural User Interface 라는 말이 중요하게 다가와야 하는 것일까요? 앞서 설명한 CLI가 GUI로 대중화된 부분을 주목할 필요가 있습니다. CLI로 컴퓨터를 사용하던 시절, GUI는 직관적이기는 하나 명령에 익숙한 사용자에게는 매우 불편한 방식이었습니다.
하지만 화려한 그래픽과 단순한 마우스는 사용자들이 원하던 원하지 않던 자연스럽게 GUI로 변화했고 CLI기반의 잘 나가던 프로그램들도 어쩔 수 없이 GUI기반으로 만들지 않으면 판매하기가 어려워 졌습니다. 최근 터치기반의 화면이 인기가 많은 것은 마우스보다 더 단순하고 간단하게 사용 할 수 있게 되었다는 점 때문입니다.
기능은 발전하고 보여줄 것은 많지만 사용자는 복잡한 사용이 아니라 간단하고 단순하게 사용하고 싶어하기 때문에 더 단순한 방향인 Natural User Interface가 관심을 갖는 것입니다. 새로운 방식으로 바뀐다고 해도 이제까지 그랬던 것처럼 키보드도 여전히 사용될 것입니다. 다만 그 화면과 작동 방식은 마우스와 터치가 바꿔놓은 것처럼 기존 것과는 분명 달라질 것입니다.
동작인식 중심의 비장착형NUI
Natural User Interface는 사람의 신체를 기준으로 ‘장착형’과 ‘비장착형’ 등 크게 두 가지로 나누어 집니다.
‘장착형’은 신체에 직접 부착하거나 닿게 하여 사용하는 형태를 말합니다. 삼성전자의 갤럭시 기어나 애플의 아이워치가 그러한 형태입니다. 몸에 부착하기 때문에 체온의 변화나 맥박 등을 체크 하는 등의 직접적인 정보를 체크 할 수 있습니다. 걷거나 뛸 때 센서의 정보가 달라지므로 이러한 정보를 합쳐서 신체 상태를 운동 중인지 다른 상태인지 구분해서 그에 맞는 서비스나 위급상황을 알릴 수 있습니다.
‘접촉형’은 기존의 멀티터치도 포함되며 손목시계형, 안경형, 신체매립형등의 기기가 있습니다. 이 기기들의 또 다른 명칭이 웨어러블 디바이스(Wearable device)입니다. 개인화할 수 있고 매우 편리하지만 장착이라는 것에 대한 거부감이나 고장율이 높다는 아쉬운 점이 있습니다.
‘비장착형’은 신체에 직접적으로 접촉하는 것이 없이 공기를 통해서만 사용하는 형태입니다. 카메라, 적외선센서, 마이크등과 같은 센서 등을 이용해 사람의 골격인식, 안면인식, 뇌파인식, 눈동자인식, 음성인식, 음성출력(TTS)등을 해서 사용자와 인터페이스 하는 형태로 사용됩니다. 대중화의 물고를 튼 것은 마이크로소프트의 키넥트(KINECT)센서이고 현재는 애플, 인텔등 많은 기업이 이 비접촉형 기기를 생산하고 그 가격이 내려가고 있습니다.
비장착형은 대부분 동작인식기반의 기기를 의미합니다. 고정된 장소나 고정된 기기에 장착하기 때문에 비용이 많이 들지 않고 고장율이나 유지비용이 저렴하다는 장점이 있습니다. 개인화를 위해 좀 더 많은 정보처리를 해야 한다는 점이 차이점이지만 현재는 원거리에서도 사람의 심장맥박을 재는 등 기술이 발전하고 있습니다.
장착형인 웨어러블 디바이스는 이제 사람들의 인식을 깨우고 시장에 진입을 하고 있고 서서히 투자와 관심이 증가하기 시작하고 있습니다. 웨어러블 디바이스는 항상 지니고 다니고 개인화하기 때문에 분명 많은 장점을 가지고 있습니다.
개인의 신체정보, 위치, 움직임등을 이용해 다양한 연동이 가능합니다. 이러한 장점에도 불구하고 웨어러블 디바이스는 아직 대중화를 위해서는 더 낮은 가격으로의 변화가 필요합니다. 사용자 부주의에 의한 고장율 등을 고려할 때 ‘비싼장난감’이 될 수도 있기 때문입니다.
비장착형인 동작인식센서의 대중화는 매우 낮은 가격이 중요요인이 됩니다. 2010년 마이크로소프트의 키넥트(KINECT)가 선보인 이후 매우 낮은 가격에 동작인식기능을 구현 할 수 있음에 따라 그전까지 수천만원의 비용이 들어갔던 동작인식이 매우 낮은 가격에 구현이 되었던 것입니다.
충분히 대중화와 상업적 가격을 가지고 다양한 기능이 제공되었습니다. 원거리에서 사람의 움직임을 알아차리고 음성인식을 통해 아무런 접촉 없이 어느 누구라도 센서 앞에만 서면 동일하게 사용을 할 수 있습니다. 최근 웨어러블 디바이스의 뉴스보도와 여러 기기가 출시되면서 이슈가 되고 있습니다. 동작인식기반의 센서들은 이미 수년 전 충분히 이슈가 되어 오늘에 이르렀음을 기억해야 할 것입니다.
모든 디스플레이 점령
기존의 대형 디스플레이나 광고판은 단순히 영상을 보여주기만 하는 용도가 대부분이었습니다. 최근 터치스크린 기능이 포함된 스크린이 많이 보급되고 있습니다. 이 터치기반의 스크린은 가격이 비싸고 사람이 누를 수 있는 한계 때문에 생각보다 작은 화면에만 적용이 되었습니다.
화면이 조금만 더 커도 적용하기 어렵고 비용이 매우 비싸지기 때문에 터치기능을 뺀 스크린을 설치합니다. 이러한 화면도 동작인식센서를 이용해 쉽게 구현 할 수 있습니다. 스크린의 메뉴를 선택하는데 필요한 것은 바라보는 시선입니다. 시선이 불편하면 손을 내밀어 사용 할 수 있습니다. 스크린의 어디를 보는지 확인하고 그에 맞는 기능을 보여 줄 수 있습니다.
우리가 사용하는 PC는 대부분 마우스를 이용해서 사용합니다. 하지만 수십 년 전 개발한 키보드는 여전히 사용 중이고 빼놓을 수 없습니다. 그러나 키보드의 사용 빈도는 줄어 들고 대신 그 자리를 마우스가 대체 합니다. 우리가 사용하는 컴퓨터를 NUI 형태로 바꾼다고 해서 키보드나 마우스를 그만 사용하는 것이 아닙니다. 기존의 키보드나 마우스는 여전히 사용하지만 그 빈도가 달라질 뿐입니다.
웹서핑이나 동영상을 볼 때 간단한 작업은 마우스를 누르지 않아도 간단한 손동작이나 음성으로 제어 할 수 있습니다. 평상시에는 마우스로 자세한 작업을 하지만 간단한 동작부터 서서히 NUI형태로 사용을 하게 된다는 것입니다.
예를 들어 검색을 할 때 기존에는 키보드를 일일이 입력해서 찾았다고 한다면 NUI형태는 컴퓨터 앞에서 혼잣말을 중얼거리면 그 말에 가까운 정보를 미리 찾아 보여 줄 수 있습니다. 사용자의 의사를 미리 예상하고 ‘의식적인 입력이 없는 입력’이 가능한 것입니다.
NUI형태로 소프트웨어를 개발하고 기획을 할 때 너무 어려운 접근 보다 기존의 프로그램에 NUI의 요소를 넣는 시도도 유용합니다. PC의 마우스기능을 동작인식으로 작동하는 형태의 마우스로 만들거나 음성명령을 이용해 프로그램을 선택하거나 메뉴를 띄우고 하는 등의 기능으로 충분히 확장하고 응용 할 수 있습니다.
다양한 동작인식 기기
동작인식을 지원하는 센서의 종류는 다양합니다. 모든 센서를 소개하기는 어렵지만 대중에 관심을 갖는 몇 가지의 센서가 있습니다. 동작인식 센서는 대부분 적외선으로 인식하는 센서를 말합니다. 흔히 스테레오 카메라나 영상처리를 통한 동작인식도 사용하는데 이는 화면의 영상을 보고 판단 하기 때문에 조명을 끄거나 다른 물체로 인해 왜곡이 심해서 그 동안 동작인식을 하는데 큰 차이를 보입니다.
마이크로소프트는 ‘Xbox One’이라는 게임기 액세서리에 새로운 형태의 동작인식 센서를 선보였습니다. 기존 센서에 비해 매우 고성능의 센서로 Full HD의 영상을 함께 제공합니다. 이 센서를 2013년 11월 PC에서 사용가능 하도록 준비를 시작했고 2014년 7월에 PC용 키넥트의 차세대 버전인 ‘KINECT for Windows Version 2‘의 개발자 버전을 공식 발표했습니다. 이제 키넥트는 차세대 KINECT for Windows만 판매됩니다. 현존하는 동작인식센서 중 가격대비 성능이 가장 우수합니다.
2012년 2월 게임기인 Xbox 360용 키넥트를 PC에서 사용 가능한 ‘KINECT for Windows’를 처음으로 발표 합니다. 대중화에 큰 역할을 한 이 디바이스는 단종되어 더 이상 판매하지 않지만 아직도 많이 사용되는 대중화된 센서 중 하나입니다.
구형 KINECT for Windows 디바이스 <o:p></o:p>
이스라엘의 프라임센스는 애플에 인수 되었습니다. 수많은 가능성으로 애플의 미래에 동작인식 기술을 결합하기 위해서 입니다. 이 프라임센스가 인수되기 전 ASUS를 통해서 판매를 한 동작인식 센서가 ‘Xtion Pro’입니다. 키넥트와 일부 호환성도 있어 대중적으로 많이 사용된 센서중의 하나입니다. 프라임센스가 애플에 인수된 이후 지원이 부족한 상태입니다.<o:p></o:p>
ASUS의 Xtion PRO<o:p></o:p>
Intel에서 저전력으로 작동되는 소형 동작인식 센서인 Senz3D를 Creative를 통해 출시하였습니다. Intel은 ‘RealSense’라는 이름으로 다양한 동작 센서를 연구 중이며 새로운 동작센서 출시를 준비하고 있습니다.<o:p></o:p>
Intel에서 제작한 Creative의 Senz3D<o:p></o:p>
이외에도 다양한 동작인식 디바이스가 존재합니다. 단순히 센서만이 아닌 센서로부터 얻은 정보를 어느 정도 가공하여 사용자들이 쉽게 사용 할 수 있는 소프트웨어 개발킷(SDK)이 필요합니다. 이러한 SDK가 원활히 지원되거나 사용 할 수 있는 환경의 디바이스 위주로 사용자가 많습니다. 손가락만 인식하는 센서도 여럿 종류가 있으나 인기가 크지는 않습니다.<o:p></o:p>
응용분야
동작인식을 이용한 다양한 응용과 사용이 가능합니다. 이미 다양하게 응용되어 사용되고 있습니다. 동작인식을 이용한 게임도 활발히 개발되고 있습니다. 특히 기존의 프로그램을 동작인식기반의 게임으로도 사용이 가능하도록 응용할 수 있습니다.<o:p></o:p>
길거리에서 볼 수 있는 옥외의 스크린들은 흔히들 ‘디지털 사이니즈’라고 하는데 이러한 안내시스템에도 동작인식이 좋은 기능을 발휘 할 수 있습니다. 화면의 정보를 선택하고 회전하고등의 고난위도의 작업을 화면에 손 하나 안대고 수행 할 수 있습니다.<o:p></o:p>
수술실의 의사들이 뭔가를 조작하기는 어려운 일입니다. 또한 원격의 환자에게 움직여 보라고 하고 그 정도를 객관적으로 체크하기도 어렵습니다. 이러한 것은 동작인식을 통해 쉽게 확인이 가능합니다. 원격의료하면 물리치료 같은 것은 어렵다고들 생각하는데 동작인식을 이용하면 그 데이터가 객관적으로 집계되어 원격의료에 더욱 더 효과적입니다.<o:p></o:p>
동작인식은 다양한 교구를 체험형으로 바꿀 수 있습니다. 책상에 앉아서 글씨를 보거나 영상만 보는 것이 아니라 실제 움직임을 통해 매번 결과가 달라지고 그것을 통해 재미도 느낄 수 있습니다. 게임형태로 만들어도 중독 될수록 학습효과가 높아지는 특이한 게임이 되기도 합니다. 놀이와 학습의 결합을 통해 디지털교육의 질이 달라 질 수 있습니다. <o:p></o:p>
동작인식 기술이 서서히 사용되기 시작한 분야는 광고분야입니다. 광고성 이벤트 같은 경우에 많은 사람들이 체험과 재미를 느껴야 효과가 좋은데 동작인식 기능을 활용하면 그 광고의 재미와 참여도가 높아 집니다. 다양한 분야에서 동작을 응용한 기술을 사용하고 있습니다.<o:p></o:p>
NUI기반의 움직임은 무시하기에는 그 움직임이 큽니다. 10개중 1가지가 되더라도 이러한 기능이 들어간 콘텐츠의 유용성과 필요성이 높아지고 있습니다. 또한 비용이 적게 들면서 효과적인 콘텐츠를 구성 할 수 있습니다. 게임, 교육, 의료, 광고, 안내, 물류, 보안등 다양한 분야에 응용하고 적용 할 수 있습니다. 사용자의 경험과 수요에 맞춰 어떠한 분야가 있고 어떠한 접근이 필요한지 살펴 보아야 하겠습니다.