Natural User Interface (NUI)

2013. 6. 12. 00:01UX 가벼운 이야기
알 수 없는 사용자

얼마 전 개봉한 <아이언맨 3>를 보셨나요? 저는 개인적으로 정말 재밌게 보았는데요 :) 화려한 액션들과 가슴을 울리는 음향도 좋았지만, 토니 스타크가 제스처를 통해서 3차원 지도를 이리저리 돌려보는 장면 같이 새로운 인터페이스가 나오는 부분들이 특히 흥미로웠습니다.
[Iron man 2(2010)의 한 장면. 출처 - smashingmagazine]

이처럼 SF영화에서는 미래적인 인터페이스 방식이 많이 소개되곤 하는데, 공통점은 키보드나 마우스 같은 부가적인 장치없이 사람의 신체기관으로 직접 인터랙션 한다는 것입니다. 그리고 바로 이러한 사용자 인터페이스 방식을 Natural User Interface(이하 NUI)라고 합니다.



NUI에 대한 간략한 역사

NUI라는 용어는 Steve Mann이 1970년대에 최초로 제시한 것으로 알려져 있습니다. 그는 CLI와 GUI의 대안적인 인터페이스 방식으로서 현실세계를 그대로 반영하는 인터페이스를 묘사하기 위해 이 용어를 고안했는데, 같은 개념으로 Direct User Interface, Metaphor-Free Computing이라는 용어도 함께 소개했습니다.
놀라운 것은 이미 이때부터 NUI에 대한 프로토타입들이 개발되었다는 점입니다. 1979년에 MIT Lab에서 진행된 Put that there프로젝트에서는 손가락으로 화면에 포인팅을하고 음성으로 명령을 내려 인터랙션 하는 프로토타입을 개발했는데 영상을 보면 지금의 스마트TV를 조작하는 것과 매우 유사한 것을 알 수 있습니다.

이후 2002년 영화 <마이너리티 리포트>에서 톰크루즈가 손 동작으로 3D화면에 있는 여러 데이터들을 조작하는 장면을 통해 NUI가 주목받기 시작했고, 2007년 애플의 아이폰이 날개 돋친듯 팔리면서, 멀티터치 기술이 대중화 되었습니다.
드디어 2010년, 키넥트가 세상에 공개되면서 그 동안 영화에서만 볼 수 있었던 제스쳐 인터페이스 방식이 상용화 되었고 NUI라는 용어도 함께 확산되기 시작했습니다. 이제는 핸드폰에도 제스처기능이 도입되는 등 NUI는 우리의 일상과 점점 더 가까워지고 있습니다.


NUI의 특징

배우기 쉽다. NUI는 이름에 Natural이란 단어가 있듯이, 사람에게 내재된 자연스러운 행동을 기반으로 동작하기 때문에 학습비용이 매우 낮습니다. 때문에 과거에 전문가들만 사용했던 CLI(Command Line Interface)나 어느 정도 학습을 해야 능숙하게 사용할 수 있는 GUI(Graphical User Interface)와 비교했을 때 매우 손쉽게 사용할 수 있는 장점이 있습니다. (물론 이 점에 대해서는 논란이 있습니다. 뒤에서 더 언급하도록 하겠습니다)

보이지 않는다. GUI로 대변되는 WIMP(Window-Icon-Menu-Pointer)방식은 조작을 위한 위젯이 필요하고, 그 위젯들을 표시하기 위해서는 크기가 제한된 화면 상에 공간을 할당해야 하며(pixel-hungry 문제), 실제 조작을 하기 위해 포인팅-클릭 작업을 반복적으로 해야 하는 불필요한 노력이 필요합니다. 반면 NUI는 마우스나 키보드와 같은 간접적인 입력장치를 이용하지 않고, 센서나 카메라를 이용해 신체를 바로 입력장치로 사용하여 콘텐츠를 직접적으로 조작하기 때문에 사용자 입장에서는 출력되는 정보 외에는 인터페이스가 보이지 않습니다(invisible). 때문에 사용자는 기술을 직접 지배하고 조작한다는 느낌을 받게되어 UX가 향상될 수 있습니다.

[User Interface 방식 간 비교. 출처 - 위키피디아]



NUI의 기술요소

NUI기술은 계속해서 발전하고 확장되고 있으나 현재는 다음의 9가지 정도로 요소들을 나눠볼 수 있습니다.

[NUI 기술요소군. 출처 - cooper.com]

- haptic: 피부의 촉각을 통한 인지
- 제스처인식: 신체의 움직임-손가락, 팔, 다리-으로 컴퓨터와 인터랙션 할 수 있는 기술
- tangible 및 touch: 실제 사물을 이용한 조작 또는 직접적으로 디지털 기기를 조작할 수 있는 기술
- 음성인식 및 생성: 사람에게 말하듯이 컴퓨터에게 얘기할 수 있으며 상응하는 음성답변을 실시간으로 생성해낼 수 있는 기술
- 시선추적 및 인식: 사용자가 현재 어디를 보고있는지 추적할 수 있는 기술
- 뇌-컴퓨터-인터페이스: 뇌파를 이용하여 컴퓨터와 인터랙션 할 수 있는 기술
- 근접센서 및 통신: 근거리에서 디지털 기기를 조작하거나 데이터를 전송할 수 있는 기술
- OLED 및 e-Ink 디스플레이: 백라이트가 필요없이 종이 특성에 가까운 새로운 디스플레이 기술
- Head-up display: 개인화된 증강현실 디스플레이


NUI를 둘러싼 논의들

NUI가 많은 장점을 가지고 있고 미래적인 인터페이스 방식인 것은 사실이지만, 그냥 받아들이기 전에 UI디자이너로서 고민해봐야할 점들이 있습니다.

NUI는 정말 '자연스러운' UI일까?
GUI는 사용자가 이 제품에서 어떤 기능들을 사용할 수 있을지 메뉴 또는 위젯들을 살펴보면서 탐색가능한 특징을 갖고 있습니다. 이는 단순작업의 경우 포인팅-클릭의 과다노동이 되기도 하지만, 반대로 사용자가 어떤 경로를 통해서 해당 기능을 실행했는지 쉽게 추적하고 기억할 수 있다는 장점이 있습니다. 하지만 NUI의 경우 일반적으로 간접적인 입력장치도 없고 조작을 위한 위젯도 없기 때문에 어떤 기능을 실행할 수 있는지 알 수가 없습니다. 물론 초기에 가이드로 정보를 제공하거나 사용자의 입력을 받기 위한 위젯을 표시하는 방식 등으로 이 문제를 해결할 수는 있겠지만, 결국 이것은 GUI요소를 도입해야만 한다는 NUI의 한계를 보여줍니다. 또한 입력을 받기위한 위젯이 없을 경우, NUI에서는 명령어 셋(제스처일 경우 일련의 특정 동작들, 음성일 경우 일련의 인식가능한 음성키워드 등)을 사용자가 기억하고 있어야 합니다. 만일 사용자의 이용주기가 짧은 제품일 경우 이를 기억하기 위한 인지적 비용이 매우 커질 수 있습니다.
한편 NUI에서 가장 많은 부분을 차지하는 것이 제스처인데, 같은 제스처라도 문화적 배경이 다르면 뜻이 달라진다는 문제가 존재합니다.

위 사진과 같은 정적인 제스처 뿐 아니라, 동적인 제스처도 문화적인 배경에 따라 많은 차이를 보입니다. 예로, 우리 나라를 비롯한 대부분의 나라에서는 고개를 상하로 흔들면 '예', 좌우로 흔들면 '아니오'가 되지만, 인도나 이란에서는 정반대의 의미를 가집니다. 따라서 제스처를 통한 인터랙션이 제대로 이루어지려면 각 제스처에 대한 표준화를 하거나 지역별로 다른 제스처 셋을 만들어야 합니다. 그러나 표준화는 문화적 차이라는 힘든 장벽이 기다리고 있고 지역별로 제스처 셋을 만드는 것은 개발비용의 증가와 사용시 혼란이라는 문제가 존재합니다. 인도에 거주 중인 한국 사람은 분명 '예'라는 동작을 위해서 고개를 상하로 흔드는 것을 먼저 해볼테니까요.

그리고 NUI의 경우 대부분 입력의 길이가 매우 짧고, 그 기능을 실행하기까지의 실행경로를 제공하지 않기 때문에 만일 입력이 실패했을 경우 왜 실패했는지 알기 어려울 가능성이 높습니다. 예를 들면, '예'를 표현하기 위해 고개를 상하로 끄덕였지만 시스템이 알아듣지 못하는 경우 여러 가지 원인이 있을 수 있습니다. 센서가 감지를 하지 못했을 수도 있고, 감지를 했지만 정해진 알고리즘 상 '예'라는 제스처로 인식하기 위한 고개흔듬의 임계각도를 충족시키지 못했을 수도 있으며, 심한 경우 설정이 인도문화권으로 되어있기 때문일 수도 있습니다:) 만일 사용자가 고개를 더 크게 흔들어보니 입력이 잘 되었을 경우, 이후에 시스템이 원하는 각도대로 고개를 흔드는 것이 과연 '자연스러운' 인터랙션일까요?
설령 입력이 실패했을 때 피드백을 준다고 하더라도 아래 이미지처럼 여전히 사용자 입장에서는 빡치는 느낌을 받을 수 있습니다. 그 결과는 당연히 UX저하와 제품의 충성도 하락으로 이어지겠지요.

[시리와의 말싸움. 출처 - 클리앙]

뿐만 아니라 NUI가 사람의 자연스러운 행동양식을 기반으로 한다는 점은 장점이 될 수도 있으나 오히려 단점이 되기도 합니다. 사용자가 시스템 앞에서 의도하지 않고 취한 행동을 시스템은 입력으로 간주할 수 있으며 그 결과 발생할 수 있는 문제 - 작게는 불필요한 정보의 표시부터 크게는 데이터의 손상 및 파괴까지 - 들은 기존의 키보드나 마우스와 같은 간접입력장치를 이용할 때는 발생하지 않았던 것들 입니다.

Natural 하기 때문에 사용하기에 더욱 편할 거라는 생각을 하기 쉽지만, 위와 같은 문제들은 NUI가 넘어야할 산이 아직 많다는 것을 보여줍니다. 그리고 이런 문제들을 해결하기 위해서는 NUI가 GUI의 대체재가 되는 것이 아니라, GUI와 협력하는 상호보완적인 관계일 때 가능할 것이라고 생각합니다.

보이지 않는(Invisible) UI가 정말 최고의 UI일까?
'The best UI is invisible' 이라는 표제가 많은 공감을 얻고 유행처럼 번지고 있습니다. 'Invisible'이라는 단어에서 알 수 있듯 그 내용들이 NUI와 맞닿아 있기에 관련 논의에 대해 얘기해보고자 합니다.
[Invisible UI와 관련된 많은 문구들. 출처 - elasticspace.com]

작년 8월 cooper의 Golden Krishna가 포스팅한 한 블로그 글 'The best interface is no ui'로 촉발된 많은 논의들이 있었습니다. 글의 내용을 간략히 요약하면 시스템이 알아서 사람의 '자연스러운' 행동과 컨텍스트를 인지하고 그에 맞는 적절한 응대를 하도록 만들면 궁극적으로 UI가 필요없는 수준까지 도달할 수 있다는 것입니다. 왠지 NUI의 목표와 매우 유사하게 들립니다. 예를 들면 메르세데츠-벤츠의 Keyless-Go의 경우 식별카드를 몸에 지니고 문에 가까이 가면 열쇠 없이도 문의 잠금이 해제되어 바로 탑승이 가능해집니다.

이러한 Invisible UI는 사람이 시스템을 거의 의식하지 않아도 되기 때문에 인터랙션 비용이 매우 낮아지며 시스템이 자신에게 맞춤화 되기 때문에 시간이 지날수록 더 적확한 결과를 얻을 수 있는 큰 장점이 있습니다.

하지만 시스템이 맞춤화를 달성하기위해 개인의 활동내역과 데이터들을 점점 더 수집하고, 이러한 시스템이 계속해서 늘어난다면 이걸 사용자 입장에서는 어떻게 받아들여야 할까요. 아니면, 그냥 받아들이게 해야하는 문제일까요?
영화 <에너미 오브 스테이트>에서 범죄자로 누명씌워진 개인의 정보가 벌거숭이처럼 다 까발려지고, <마이너리티 리포트>에서 홍채인식을 피하기 위해 다른 눈을 이식하는 것처럼 언제 어디서나 시스템이 내 활동을 추적한다면 인권의 가치가 급격히 떨어질 수 있습니다. 때문에 이는 디자이너로서, 개인정보에 대한 윤리적 고민이 필요한 부분입니다.

다른 문제로는 위에서도 서술한 내용과 비슷하게, 시스템 결함시 대책이 미흡할 수 있다는 점입니다. 위 메르세데스-벤츠의 예에서 문이 안열리면 왜 안열리는지 알 수 있을까요? 만일 UI가 없는 냉장고에 불이 들어오지 않는다면 왜 그런지 알 수 있을까요? UI의 부재는 이런 상황에서 큰 혼란을 초래할 수 있습니다.

물론 Invisible UI에 대해서는 아직 활발히 논의 중이므로, 위와 같은 문제들이 충분히 고려된 방향으로 발전할 것으로 기대합니다.


마치며...

NUI는 많은 장점이 있고 개발가능성이 무궁무진한 분야입니다. 또한 현재 이루어지고 있는 다양한 기술적 노력을 바탕으로 향후에 '대세'가 될 가능성이 매우 높습니다. 미래를 준비하는 마음으로, NUI에 대해 관심을 가져보시는 건 어떨까요? 물론, 디자이너로서 UI관점에서 그리고 윤리적관점에서 고민해봐야 할 주제들도 함께 말이죠 :)