Cet article résume les bases des fonctions cognitives, plus précisément en lien avec les processus cognitifs: apprentissage, motivation et émotions. Il est succinctement décrit les types de mémoires et leurs liens avec le corps et le cerveau biologique.
En pratique, SimSensei est mis en scène comme un psychologue virtuel qui pose des questions au patient : c'est lors de ses réponses que, par le biais du Kinect, le programme analyse sa posture, son ton de voix ou encore ses micro-expressions. La conversation virtuelle permet de construire un profil que les chercheurs estiment fiable à 90%.