首先，我们对表情的识别是来自于对面部表情的识别。我们的脸上分布着很多受到精细控制的肌肉。一种是连接面部皮肤的表层肌，它们可以改变嘴、眼等五官的形状，或者是可以牵动面部表情，如额肌（frontalis muscle）可以使人皱起眉毛；颧骨肌（zygomatic muscle）则可以使人产生微笑。关于表情的讨论，达尔文在1872年写过《人类和动物的情绪表达》，指出人类与非人类灵长类动物的面部表情与其特定的情绪状况有关。其后，艾克曼进行了系列的研究。其次，控制我们肌肉的神经主要是面神经和三叉神经。面神经支配表层肌肉，三叉神经支配下颌的肌肉。面神经和三叉神经最后都连到脑干上。此外，人的面部肌肉既受到大脑的单侧控制，也受到大脑的双侧性控制。这种控制较复杂，不展开。但是人能控制单侧嘴唇，却不很难控制单侧眉毛，就与这种复杂的神经控制方式有关。
在生理上，每个人的观察能力都不一样，而且大脑发展情况也不一样，所以在识别表情方面肯定会有区别。在社会经验方面，每个人的情绪经验不一样，必然也会对情绪识别产生影响。比如说，也许在某些文化下，皱眉毛不一定是代表不悦，那么当我们第一次到那些地方的时候，肯定会无法正确理解别人皱眉的情绪意义。当然这种极端的例子不一定存在。在表情识别方面，证据显示右半脑具有优势。如果我们右半球的杏仁核（amygdala）受损，那么就难以识别恐惧的表情。正常人在注意他人表情时，右半球颞叶皮层的活动会增强。这里顺便科普一下，我们处理情绪的三个关键部位是杏仁核、前扣带回（anterior cingulate cortex）、前眶额皮层（orbital frontal cortex，中文不知道是不是这么叫。。）
