프로젝트 개요

프로젝트 요약:

“Translate SL”은 구글 번역기에 실시간 수어(수화) 번역 기능을 통합하여 청각 장애인과 비장애인 간 원활한 소통을 지원하는 혁신적인 애플리케이션입니다. 스마트폰 카메라를 이용해 사용자의 수어 동작을 인식하고 이를 텍스트 또는 음성으로 변환합니다. 또한, 구글의 Gemini AI를 활용해 상황에 맞는 적절한 답변을 제안하며, 사용자가 공유할 수 있는 수어 영상 시연도 자동 생성합니다. 이 기능은 의료, 교육 등 다양한 일상 환경에서의 소통 격차를 해소하고 포용성을 증진시키는 데 기여합니다. 모바일 영상 인식 기술, 자연어 처리(NLP), 생성 AI가 결합되어, 구글 번역기의 방대한 사용자 기반 위에서 7천만 명 이상의 청각 장애인에게 손쉽게 접근할 수 있도록 설계되었습니다. 프로젝트는 유엔 지속가능개발목표(SDGs) 중 SDG 4(양질의 교육), SDG 8(양질의 일자리 및 경제 성장), SDG 10(불평등 감소), SDG 11(지속 가능한 도시와 공동체)에 부합합니다.

문제 인식

사회적 문제:

청각 장애인은 전 세계적으로 상당한 소통 장벽에 직면해 있으며, 전 세계 인구의 5%만이 수어에 능통한 청인을 이해할 수 있습니다. 이로 인해 교육, 취업, 의료 서비스 접근에 큰 제약이 발생합니다. 기존 구글 번역기에는 수어 번역 기능이 없어 이러한 소외 현상이 지속되고 있습니다. 특히 한국에서는 약 25만 명 이상의 한국수어(KSL) 사용자가 존재하지만, 실시간 수어 번역 도구가 부족하여 사회적 배제 현상이 심각합니다. Translate SL은 별도의 특수 기기 없이 AI 기반의 직관적이고 실시간 번역 기능을 제공함으로써 이러한 문제를 해결하고자 합니다.

혁신과 독창성

우리 프로젝트의 차별점:

Translate SL은 구글 번역기 플랫폼에 수어 번역 기능을 직접 통합한 세계 최초 솔루션으로, 구글의 글로벌 인프라를 활용하여 접근성과 확장성을 보장합니다. Gemini AI를 활용해 공식/비공식 한국수어(KSL) 간의 문화적 차이를 구분하고, 상황에 적합한 답변을 제안하며, 수어 영상 시연 생성 기능으로 정확한 의사소통을 돕습니다. UI는 청각 장애인 사용자를 위해 시각적 피드백과 진동 알림 기능을 포함해 제스처 인식을 명확하게 알리며, 오프라인 모드도 제공해 인터넷 연결이 불안정한 지역에서도 기본 기능을 사용할 수 있습니다.

통찰과 개발

학습 과정:

초기에는 지역별 수어 표현의 다양성 때문에 제스처 인식 정확도가 낮았습니다. 이를 극복하기 위해 말레이시아와 한국의 청각 장애인 커뮤니티와 협력하여 다양한 수어 스타일을 반영한 데이터셋을 구축했습니다. 또한 OpenCV에서 MediaPipe로 전환해 실시간 처리 속도가 약 40% 향상되었으며, AI의 편향 문제를 최소화하고 개인정보를 보호하기 위해 연합 학습(federated learning) 방식을 도입했습니다. 윤리적 측면도 중요하게 고려하여 AI가 편견 없이 정확하게 수어를 해석하도록 노력했습니다.

개발 과정:

TensorFlow Lite를 활용해 엣지 디바이스에서의 원활한 동작을 지원하며, Python과 Flask를 사용해 백엔드 프로토타입을 개발했습니다. 프론트엔드 테스트 과정에서 저시력 사용자를 위한 색상 대비 문제를 발견해 UI 디자인을 재설계했으며, 사용자 편의성을 최우선으로 고려했습니다. 앞으로 구글과의 협력을 통해 공식 API 통합을 추진하며, 한국어 외에도 10개 이상의 다양한 수어 언어로 확장할 계획입니다.