Síntese automática de gestos a partir de HamNoSys

Este projeto foi desenvolvido no âmbito de uma dissertação de mestrado.

A animação de agentes virtuais gestuantes pode ser uma tarefa complexa para utilizadores não especialistas na área de animação. A partir dos gestos do Corpus de Referência da LGP anotados em HamNoSys, uma notação de escrita de gestos através de símbolos, criámos uma ferramenta de animação automática de avatares gestuantes.

Contudo, HamNoSys não é legível por um computador, o que requer a sua conversão para a um formato legível, em XML, a que se chama de SiGML. Apesar de a nossa ferramenta ter sido desenvolvida no âmbito da LGP, pode ser usada com qualquer outra língua gestual. O estudo realizado com sete pessoas gestuantes de LGP mostrou que a animação sintética de avatares gestuantes ainda é bastante robótica e pouco natural, o que leva a dificuldades na compreensão do conteúdo gestuado. Além de ser necessário um melhoramento na velocidade e no uso de expressões faciais, que influenciam bastante a compreensão linguística através destes agentes virtuais.

Recursos

  • HamNoSys2SiGML: ferramenta de conversão de código HamNoSys para SiGML.

Documentos

  • (Dissertação) Synthesizing Signing Avatars from Annotated Language Corpus [PDF]
  • (Artigo) HamNoSys2SiGML: Translating HamNoSys Into SiGML [PDF]