소마기술력
기술로써 넘는 의사소통의 장벽; 수화 번역 프로젝트 ‘청민정음’
- 2019-12-27 15:01
- SW마에스트로
기술로써 넘는 의사소통의 장벽; 수화 번역 프로젝트 ‘청민정음’
프로젝트 ‘청민정음’은?
기술 분야에 있어서 우리나라 말인 한국어는 기술 발전의 속도에 비해 상대적으로 연구 속도가 다른 언어의 것을 따라 가지 못하는 분야 중 하나입니다.
한 마디로 말하자면 그동안 기술 불모지에 놓였던 셈입니다. 그만큼 한국어를 기술적인 수준에서 다루는 것은 결코 쉬운 일이 아니다.
하지만 반대로 말하면, 영어나 중국어에 비해 아직까지 연구할 여지가 많이 남아있는 언어라고도 볼 수 있습니다.
다행히 최근 머신러닝의 발전 기조에 힘입어 연구 범위로 보나 연구 깊이로 보나 이전과는 차원이 다른 모습을 보여주고 있기는 합니다.
소프트웨어 마에스트로 과정에 참가하고 있는 연수생들 중에서도 이러한 분야를 연구 중인 사람들이 있습니다.
그냥 한국어를 다루는 것도 어려움에도 불구하고, 심지어 그들은 수화로서의 한국어를 다루고자 합니다.
문상진 연수생을 팀장으로, 권기용, 박종복 연수생이 모여 ‘청민정음’이라 불리는 프로젝트를 진행하고 있습니다.
말로 하는 한국어와 손으로 하는 한국어는 체계가 다르다!
한국어 화자는 말을 할 때 쓰는 경우를 ‘구어체’ 중심의 표현을 합니다.
구어체 한국어의 경우는 문어체의 경우와 다르게 의사소통을 할 때 정확한 표현방식을 지키기보다 표현하고자 하는 의사의 전달에 초점을 더 맞춥니다.
일반인과 청각장애인의 의사소통 상황에서 발생하는 원인은 소통하고자 하는 일반인이 수화를 아느냐 모르느냐를 떠나,
결정적으로 구어체 한국어와 수화 간 언어 체계에 있어 미묘한 차이를 서로가 인지하지 못하기 때문이라 볼 수 있습니다.
프로젝트 ‘청민정음’을 진행하는 연수생들은 여기에 초점을 맞췄습니다.
수화도 결국 언어이며 글이 아닌 말로 표현하는 언어에 더 가깝다는 사실에 기반하여
일반인과 청각장애인 간 통역이 필요하며 그 일을 하는 인력이 터무니없이 부족하다는 것에 주목했습니다.
수화 인식 프로세스 개발 과정
‘청민정음’은 크게 다음과 같은 프로세스로 수화 통역이 진행됩니다.
하나. 수화 인식 장치와 그와 연결된 스마트폰으로부터 문장 입력 값을 입력 받습니다.
둘. 입력 받은 문장 값을 형태소 분석을 통해 수화로써 표현했을 때 유의미한 내용을 추출합니다.
셋. 이를 상호 통역할 수 있는 형태로 출력합니다.
[청민정음의 수화 통역 프로세스]
프로젝트 ‘청민정음’을 개발하는 연수생들에게 일차적으로 당면한 문제는 ‘청민정음’의 기능과 서비스를 필요로 하는 사람들이 일반인이 아니라는 점에 있었습니다.
청각 장애인들은 응급한 상황에서 의사소통이 신속하고 제대로 되어야 할 필요성이 있습니다.
다른 것이 응급 상황이 아니라, 병원을 이용하고, 관공서를 이용하는 것 등 우리에게는 당연한 일상이 그들에게는 응급 상황입니다.
더군다나 기초적인 자료조차 제대로 정리된 분야가 아니기 때문에 “이러한 부분에서 개발에 있어 압박이 있었다.”라고, 문상진 팀장은 전했습니다.
‘청민정음’의 수화 인식과 관련해서 팀이 고민했던 기술은 다음과 같았습니다.
이미지 처리를 기반으로 하는 동작인식
우선, 이미지 처리를 통해 처리하는 방식입니다.
수화는 시각적인 선에서 의사소통이 이루어지기 때문에 기본적으로 손이 움직이는 방향, 소통 과정에서의 손의 위치 등을 이미지로써 인식하고 처리하기에 적합합니다.
카메라를 통해 객체를 인지하는 것은 실제로 오늘날에도 많이 쓰이는 기술입니다.
대표적인 예시로는 Microsoft의 게임/엔터테인먼트 디바이스인 XBOX 360의 인터페이스 장비 ‘키넥트’를 예로 들 수 있습니다.
[이미지 처리 과정 시각화 예시]
다만, 이 경우 청각장애인의 소통을 위해 카메라 디바이스가 있는 특정한 장소에 위치해야 한다는 본질적인 문제가 있었습니다.
위급 상황은 언제 어디서나 발생할 수 있는 것인데 기술적 편의를 위해 카메라 디바이스가 있는 곳에서만 서비스를 운용하는 것은
실제 서비스를 이용해야하는 사람들 즉 청각 장애인들에 대한 UX 측면에서 적절하지 못하다고 판단했습니다.
권기용 연수생은 “이미지 처리를 통하면, 실제로 개발되어 있는 API도 많아서 인식 프로세스를 개발하는 것에 있어 수월 했을 것이지만
이때 짚었던 문제점을 근거로 이미지처리가 아닌 센서 기반의 소형화된 인식장치를 개발하는 것으로 과감하게 선회했습니다.”라고 밝혔습니다.
위치 정보처리를 기반으로 하는 동작 인식
그 다음 개발하고자 했던 것이 ‘위치기반 정보’를 바탕으로 손의 움직임을 포착하는 것이었다고 합니다.
우리가 아는 지도서비스나 현재 애완견을 대상으로 하는 국내 통신기업의 상품에도 적용된 것들이 예시가 될 수 있습니다.
이 경우 문제가 되는 부분은 위치 정보의 오차를 다루기가 어렵다는 것에 있었습니다. 수화는 언어로서 손의 움직임이 우리의 입이 됩니다.
따라서 이 부분의 인식에 대해서는 무엇보다도 정확성이 보장되어야 합니다.
하지만 위치정보는 개발하는 입장에서 어찌 할 수 없는 물리적 한계가 분명히 존재했습니다.
현재의 청민정음의 하드웨어 기술 – 센서를 기반으로 하는 동작 인식
그 결과, ‘청민정음’의 수화 인식장치는 지금의 디바이스 형태를 갖추게 되었습니다.
[센서와 블루투스 모듈을 통해 데이터를 주고받는 청각장애인용 디바이스 예시]
지금까지 개발된 버전은 다음과 같은 과정으로 수화를 인식합니다.
하나. 6개의 자이로 센서를 통해 팔과 손의 움직임을 잡아냅니다.
둘. 센서로부터 값을 받아 이를 수화로 바꿔낼 수 있도록 값을 정리합니다.
셋. 레퍼런스 데이터와 유사도를 비교하여 이를 문장으로, 구로, 단어로 처리합니다.
어떻게 레퍼런스 데이터와 비교 할 수 있을까?
수화는 몸짓으로 담아내는 언어이기 때문에 몸짓을 언어데이터와 연결하기에 상당한 어려움을 겪을 것이라 생각합니다.
더군다나 기본적인 한국어와 체계가 약간 다른 수화의 경우는 더할 것입니다.
이에 대해 문상진 팀장은 “분명히 일반 상황의 모든 것을 담을 수 없다는 어려움을 인지하고 있기 때문에 가능한 선에서 수화들이 갖는 특징점을 알고리즘화 하고 있다.”라고 밝혔습니다.
앞서 확인했던 6개의 자이로 센서를 통해 각각의 움직임을 받아오는데 쉽게 말해 x, y, z 좌표값으로 받아온다고 보면 됩니다. 이를 시각화 하면 위와 같은 형태가 나옵니다.
앞서 위에서 확인했던 6개의 자이로 센서를 통해 받아오는 좌표값을 그래프를 통해 나타내면 아래와 같은 형태가 됩니다.
청민정음 팀은 수화가 사람을 통해 만들어지는 과정에 주목했습니다.
수화는 손과 팔을 함께 사용하는 형태이기 때문에 어떤 공간에서 기준점을 잡았을 때 기준점을 통과하는 부분이 있다고 판단한 것입니다. 이를 시각화하면 다음과 같습니다.
[한 지점을 기준으로 손이 좌측에, 손이 우측에 가 있는 장면]
이렇게 지점과 지점 간의 움직임을 확인하고, 센서를 통해 들어오는 데이터들을 다듬어낼 수 있다면 수화를 한국어 체계로 바꿔주는 통역 서비스의 시연이 충분히 가능할 것이라는 이야기입니다.
한계점
분명한 한계점도 존재했습니다. 수화에는 우리가 통상적으로 생각하는 몸짓으로 담아낼 수 없는 표현들이 분명 존재합니다.
예를 들면 ‘지화’같은 것들이 예시가 될 수 있습니다. 디바이스를 소형화할 수는 있겠으나 이를 보편적으로 사용하기에는 언어가 갖는 방대함 때문에 이용할 수 없는 부분이 분명 더 크게 남아있습니다.
그렇기에 ‘청민정음’이라는 프로젝트는 응급상황, 반드시 수화 통역이 필요한 상황에 초점을 맞춰 진행되고 있습니다.
더욱이 지금까지 진행된 디바이스의 개발은 자이로 센서에 대한 부분으로 광센서를 이용한 손가락의 인식까지는 아직 구현되지 않았습니다.
그렇다고 해서 소프트웨어의 구현이 지지부진한 것은 아닙니다.
하드웨어로부터 넘어오는 데이터를 유의미한 데이터로 분석해내기 위해 현재 문상진 팀장은
체언과 용언을 중심으로 연결되는 수화의 특징을 포착하여 일반 문장을 수화의 형태로 구분해 내는 프로세스를 개발 중에 있습니다.
일반적인 형태소 분석을 뛰어 넘어 수화에서 잘 쓰이지 않는 ‘격조사’, ‘용언의 어미’, ‘보조사’ 등을 제거하는 단계까지 나아가고 있습니다.
그 중 왼쪽의 그림은 문상진 팀장이 연구한 관형어가 체언을 꾸미는 경우에 대한 오토마타입니다.
따라서 앞으로 남은 기간 동안 연수생들의 노력 여하에 따라 프로젝트의 성패가 달려있다고 진단할 수 있겠습니다.
시사점
그럼에도 불구하고 ‘청민정음’ 프로젝트가 기술 영역에 주는 시사점은 결코 적지 않습니다.
언어의 자연어 처리를 단순히 텍스트, 음성데이터를 통해서만 진행하는 것이 아니라 언어 체계의 정형성을 뛰어넘어서도 충분히 시도될 수 있다는 부분에서 기술적으로 가치를 갖습니다.
어쩌면 이번 프로젝트가 사회적으로는 물론 기술적으로도 큰 반향을 일으킬 수도 있을 것이라는 판단이 듭니다.
기술적으로도 그리고 사회적으로도 큰 가치를 갖는 프로젝트를 이끄는 청민정음 팀의 귀추가 주목됩니다.
