SENTIMASK SDK

Rastreamento facial 3D para aplicativos de realidade aumentada e controle de personagens digitais

O SentiMask foi projetado para o desenvolvimento de aplicativos de realidade aumentada, que usam tecnologias de rastreamento facial 3D em tempo real para captura de movimento e controle de expressões faciais de personagens digitais 3D ou mapeamento de avatares animados no rosto do usuário.

A tecnologia funciona com câmeras comuns e PCs ou smartphones comuns .

Disponível como um kit de desenvolvimento de software que permite o desenvolvimento de sistemas de rastreamento facial 3D para Microsoft Windows , Android, iOS, macOS e Linux.

Recursos e capacidades

• Detecção e rastreamento de rosto em tempo real.
• Pose facial, pontos de referência, estimativa de forma e expressão.
• Geração de malha facial 3D.
• Estimativa de sexo e idade.
• Detecção de óculos, barba, bigode e chapéu.
• Funciona com webcams comuns e câmeras de smartphones.
• Integração com outro software como software de modelagem 3D ou mecanismos de jogo.
• Preços razoáveis, licenciamento flexível e suporte ao cliente gratuito.
  
  

SentiMask fornece rastreamento facial 3D em tempo real e estimativa de expressão facial usando vídeo de uma webcam comum ou câmera de smartphone. As possíveis aplicações da tecnologia SentiMask incluem:

• Captura de movimento para animação facial de personagens 3D em aplicações de entretenimento, como jogos de computador, aplicativos de comunicação etc.;
• Aplicações de realidade aumentada, como maquiagem virtual, avaliação de mudanças de aparência, etc.
• Análise de características faciais para aplicativos interativos, que fornecem experiência do usuário com base no sexo, idade e/ou expressão facial da pessoa.

A tecnologia SentiMask  possui estes recursos para aplicativos de rastreamento facial 3D:

• Desempenho em tempo real. A tecnologia SentiMask realiza detecção e rastreamento de características faciais a partir de vídeo ao vivo em tempo real. A tecnologia oferece desempenho rápido em um PC ou smartphone comum.
• Estimativa de características faciais. O algoritmo SentiMask é capaz de reconhecer pose facial, pontos de referência, forma e expressão de um vídeo. A análise avançada de expressão facial realiza 23 estimativas diferentes, como verificar se o olho esquerdo ou direito está fechado, a sobrancelha esquerda ou direita para cima ou para baixo, a mandíbula movendo-se para a esquerda ou para a direita, etc.
• Geração de malha facial 3D. O algoritmo reconstrói uma malha facial 3D (modelo wireframe) a partir de uma imagem facial. Uma textura personalizada pode ser aplicada à malha ou os pontos da malha podem ser usados como referência para alterar a aparência de um personagem animado. Veja o tutorial em vídeo para criar máscaras personalizadas com um editor gráfico.
• Estimação de gênero e idade. O algoritmo SentiMask pode estimar a idade ou sexo da pessoa a partir da imagem do rosto.
• Detecção de atributos faciais. O algoritmo SentiMask pode detectar se uma pessoa tem barba, bigode, óculos ou chapéu.
• É necessária uma câmera comum. Um vídeo para as reconstruções do modelo facial 3D pode ser capturado com uma câmera disponível no mercado ou um smartphone. Não são necessários sensores de profundidade ou outro hardware avançado. As recomendações e especificações contêm informações mais detalhadas sobre a configuração da câmera.
• Integração com outros softwares. SentiMask gera nuvem de pontos 3D, ângulos de rotação facial (roll, pitch, yaw) e estimativas de expressão facial. Esses dados podem ser usados em um aplicativo personalizado ou passados para um software de modelagem 3D como o Blender, bem como para motores de jogos.
• Veja o vídeo tutorial para usar o SentiMask com o Blender 3D.