Aller au contenu

Move Your Story — un film généré selon ton activité

Contexte et cadre

Memoways propose une application mobile intitulée Memowalk, qui crée des films en fonction des déplacements d'une personne. Le projet de recherche Move Your Story, mené avec TAM de novembre 2012 à octobre 2014, a permis d'améliorer la plateforme Memoways en prenant en compte le comportement et les intérêts actuels de l'utilisateur, en analysant les données produites par les différents capteurs d'un smartphone.

Méthode et dispositif

Un module de reconnaissance d'activité s'appuie sur l'accéléromètre et le GPS intégrés au smartphone pour identifier les activités en cours — marche, vélo ou déplacement en véhicule — avec différents niveaux d'intensité de marche, et fonctionne quelle que soit la position de l'appareil. Un second module, le GRM (Module de Reconnaissance des Gestes), analyse les données de l'accéléromètre et du gyroscope pour reconnaître les gestes effectués avec l'appareil, y compris la main utilisée.

Voir la méthode détaillée

Le module de reconnaissance des gestes a été calibré pour distinguer le bon mouvement parmi d'autres mouvements comme la marche, et pour déterminer si le geste a été effectué avec la main gauche ou la main droite. L'algorithme d'apprentissage automatique a été entraîné par six sujets ayant effectué, pendant 5 jours, un total de 3 600 enregistrements de gestes.

Les activités et comportements détectés par le module :

ActivitiesOrientationBehaviours
StaticLow leftRegular
Walking slowlyMedium leftVisiting – calm
WalkingHigh leftChaotic
Walking fastLow rightSportive
RunningMedium right
VehicleHigh right
Bicycle

Les gestes reconnus par le GRM :

Device in the left handDevice in the right hand
Answering callAnswering call
Pointing forwardPointing forward
Pointing on the leftPointing on the left
Pointing on the rightPointing on the right
Looking at the screen*Looking at the screen*
Checking the time**Checking the time**

*Mouvement commençant avec l'appareil dans une poche et se terminant à hauteur des yeux de l'utilisateur

**Comme le mouvement "Regarder l'écran", mais se terminant à mi-hauteur

Artefacts et productions

Dans l'application Memowalk pour Android, l'utilisateur voit comment son comportement est détecté et catégorisé dans le temps, avec des fenêtres temporelles courtes et moyennes.
Dans l'application Memowalk pour Android, l'utilisateur voit comment son comportement est détecté et catégorisé dans le temps, avec des fenêtres temporelles courtes et moyennes.
La détection d'activité et de comportement fournit un modèle comportemental, traduit ensuite en modèle de montage par le moteur de génération du film.
La détection d'activité et de comportement fournit un modèle comportemental, traduit ensuite en modèle de montage par le moteur de génération du film.
L'application complète utilisée pour effectuer tous les tests.
L'application complète utilisée pour effectuer tous les tests.

Les billets rédigés à l'époque sur le site d'Ulrich Fischer :

Move Your Story Archives - Ulrich FischerLe projet de recherche "Move your story", basé sur le projet Walking the Edit: résultats, exemples...ulrichfischer.net

Apprentissages

Crédits et partenaires

Projet de recherche mené par TAM et Memoways.

Merci à l'équipe TAM pour le précieux travail et la belle collaboration : Jody Hausmann, Kevin Salvi et Michel Deriaz.

Suite et valorisation

Les modules développés pendant le projet ont amélioré la plateforme Memoways : la détection d'activité et de comportement alimente le moteur de montage de Memowalk, pour des films adaptés aux déplacements et aux intérêts de chaque utilisateur.

Prochaine étape

Envie d'explorer ce que la reconnaissance de contexte pourrait apporter à votre projet de contenu ou de visite ? Parlons-en.