Kinect

Installation de bibliothèques kinect sous macos x, linux et windows et maxmsp®

openkinect de D. Schiffman

• lien où télécharger le fichier openkinect.zip;
• placer le répertoire résultant de la décompression (openkinect) dans ../Documents/Processing/libraries.
• le wiki de openinect.org.

simple openNI (Processing)

• le site contenant les bibliothèques Simple openNI;
• suivre les indications selon les systèmes d'exploitation.

ROS openNI

• site de ros.org;
• les procédures y sont expliquées pour les principaux systèmes d'exploitation.

NB: Ce package devrait permettre l'accès aux données son de la kinect (fonctionnalité non testée).

la kinect et max/msp/jitter® sous mac osx

• jit.freenect.grab: la page du site de Jean-Marc Pelletier offrant librairie et patch; elle donne accès à plusieurs kinects à la fois et capte des données accéléromètriques.
• la kinect via Synapse, OSC et maxmsp: le site de Synapse, celui de Osculator et l'interface du skeleton (reconnaissances de formes) sous max.

Quelques esquisses Processing tirant parti des librairies openkinect

(reprises de D.E. Stanley, HEAD, 2011, Genève)

• pour en tirer parti, mettre ces sketches dans le répertoire par défaut de processing (../Documents/Processing/)
• Lancer ces sketches dans Processing via le menu File/Sketchbook/votreRepertoire

Canevas

Ce sketch ne fait rien... sauf initialiser l'espace de travail; il montre la structure de base d'un programme Processing utilisant la Kinect.

import librarytests.*;
import org.openkinect.*;
import org.openkinect.processing.*;

Kinect kinect;

void setup() {
 kinect = new Kinect(this);
 kinect.start();
}

void draw() {

}


void stop() {
 kinect.quit();
 super.stop(); 
}

Varicelle

Fait deux choses:

1. capte et renvoie l'image formée par la Kinect
2. contrôle l'orientation angulaire verticale de la kinect par l'intermédiaire de la souris (kinect.tilt)

NB: il s'agit aussi de tester la caméra infrarouge. Essayez avec une télécommande de télé ou une led infrarouge quelconque

import librarytests.*;
import org.openkinect.*;
import org.openkinect.processing.*;

Kinect kinect;

void setup() {
  size(640,480);  //standard kinect screen
 kinect = new Kinect(this);
 kinect.start();
 kinect.enableIR(true);
}

void draw() {
  PImage img = kinect.getVideoImage();
  image(img,0,0);
}

void mouseMoved() {
 float t = map(mouseY, 0,height,30,-30);
 println(t);
 kinect.tilt(t);
}

void stop() {
 kinect.quit();
 super.stop(); 
}

Le plus proche

Repère le point le plus proche de la Kinect, et le marque d'un rond rouge, plus ou moins gros selon la distance.

import librarytests.*;
import org.openkinect.*;
import org.openkinect.processing.*;

Kinect kinect;

void setup() {
  size(640, 480);
 kinect = new Kinect(this);
 kinect.start();
 kinect.enableDepth(true);
}

void draw() {
  int closestValue = 4096;
  int closestIndex = -1;
  
  // draw the raw image
  int[] rawDepth = kinect.getRawDepth();
  
  for (int i=0; i <640*480; i++) {
    if (rawDepth[i] > 0 && rawDepth[i] < closestValue) {
      closestValue = rawDepth[i];
     closestIndex = i; 
    }
  }
  
  image(kinect.getDepthImage(),0,0,640,480);
  
  if (closestIndex > -1) {
    fill(255,0,0);
    ellipse(closestIndex % 640, closestIndex / 640, closestValue*0.1, closestValue*0.1);
  
  }
}

void stop() {
 kinect.quit();
 super.stop(); 
}

Le stage de mars-avril 2012 aux Activités culturelles de l'Université de Genève

Le fil rouge de l'atelier

le 27 mars 2012, animé par Nicals Szilas et Pierre Dunand Filliol

• Exemples d'utilisation de la kinect dans les arts électroniques et numériques
  • Emoshan, voir l'applet web publiée par Nicolas Szilas sous coaltar.ch;
  • Hélice sur l'utilisation fine de la reconnaissance du skelette, de Nicoals
  • Project Sound Design la kinect comme outil de transformation de composantes spectrales de documents sonores (Cécile Picard L., Pierre Dunand Filliol, Nicolas Szilas et d'autres du mapping festival 2011, Genève).

• Mise en place de l'IDE sous Processing, revue des principales bibliothèques gérant la kinect de ce langage disponibles à ce jour
• Initiation à la programmation des principales données accessibles au travers de Simple openNI:
  • l'image vidéo rgb;
  • la Depth Image (mesure de distance et reconnaissance de proximité par IR en 2D);
  • les Point Clouds (nuages de points IR, la 3D et ses applications interactives);
  • la reconnaissance du corps et ses mouvements: openNI et les Skeleton Data.

• Préparation de la séance du 3 avril

le 3 avril 2012

• Projets à réaliser en cours de soirée, quelques pistes:
  • tirant parti de la Depth Image, le crayon invisible et les sélecteur d'images;
  • tirant parti du Point Cloud, le clavier virtuel;
  • tirant parti des Skeleton Data, l'accordéon virtuel et le mouvement de la danse comme instrument de musique
  • plus tous les projets personnels (et réalisables) proposés par les stagiaires.

L'ensemble du code étudié au cours de l'atelier

... est disponible en ligne ici.

Ces sketches Processing, utilisés pour l'atelier, ont été pour la plupart empruntés à l'ouvrage Making Things See de Greg Borenstein adaptés et commentés par P. Dunand Filliol. Exception faite du sketch hélice rédigé par Nicolas Szilas.

Documentation

Processing et les bibliothèques gérant la kinect

• Processing.org
• le wiki de l'Open Kinect Project
• la page de documentation de Daniel Shiffman sur ses activités et sa bibliothèque
• Simple OpeneNI [1] et la documentation (lacunaire) sur ses fonctionnalités
• Matthew Fischer (Université de Stanford) et ses travaux sur la computer vision en c

sites, blogs, réseaux sociaux

• la page sur "from hal to kinect" du site de Douglas E. Stanley: abstractmachine.net;
• sous twitter, kinect hacks et le site de kinecthacks.net;
• sous vimeo sur 2'500 vidéos, Liubo Borissov (Pratt Institute NYC), Anouk Hoffmeister, etc.

projets spécifiques

• la reconnaissance de formes de la kinect exploitée pour suivre les doigts de la main par le labo de Computer Science and Artificial Intelligence du MIT (Boston).

ressources bibliographiques, articles, projets

• Une bibliographie sur les arts numériques en général et sur le physical computing et les nouveaux espaces du DIY;
• mit media lab - tangible media group: the kinected conference project (2011);
• un travail sur la perception du corps, body dysmorphia, à travers la kinect par Robert Hodgin; des pratique exemplaire des tangible media vues par eye magazine;
• le blablaLAB sculpte votre corps en 3d et en temps réel grâce à 3 kinects et à une imprimante 3d opens source, honorary mention de ars elctronica 2011

++ Pierre Dunand Filliol 11.4.12 à 00:30 (UTC)