Em outro artigo aceito na revista Neurocomputing da Elsevier, Jessica Sena apresenta um de seus trabalhos realizados durante seu doutorado no Smart Sense.

O reconhecimento de atividade humana baseado em sensor tem sido usado em muitas aplicações do mundo real, fornecendo conhecimento valioso para muitas áreas, como interação homem-objeto, medicina, militar e segurança. No entanto, o uso desses dados traz dois desafios principais: a heterogeneidade dos dados entre vários sensores e a natureza temporal dos dados do sensor.

Em nosso trabalho, uma nova estratégia foi proposta para lidar com os dois problemas. Primeiro, processamos cada sensor separadamente, aprendendo seus recursos e realizando a classificação antes de fundir com os outros sensores. Segundo, para explorar a natureza temporal do sensor, extraímos padrões em várias escalas temporais dos dados, usando um conjunto de redes neurais de convolução profunda (DCNN). Isso é conveniente, pois os dados já são uma sequência temporal e as múltiplas escalas extraídas fornecem informações significativas sobre as atividades executadas pelos usuários. Consequentemente, nossa abordagem é capaz de extrair padrões simples de movimento, como torcer o pulso ao pegar uma colher, e movimentos complexos, como a marcha humana. Nossas duas estratégias integram um conjunto de redes neurais convolucionais profundas multimodais que trabalha diretamente nos dados brutos do sensor, sem pré-processamento, o que o torna geral e minimiza o viés de engenharia.

Demonstramos sua adequação ao HAR em dados de sensores vestíveis, realizando uma avaliação completa usando sete conjuntos de dados importantes. Nossa abordagem supera os resultados anteriores de última geração e uma adaptação de rede do módulo Inception usada como base para nossa premissa convolucional do conjunto do kernel. Mostramos que nossa abordagem alcança resultados mais altos usando vários sensores e discrimina melhor as atividades do que as abordagens mais comuns. Além disso, demonstramos a viabilidade de embarcar nossa abordagem em dispositivos com recursos limitados, avaliando nossa abordagem em um Raspberry Pi 3.