There is no definitive single answer, but there are some answers. It probably shouldn't be a surprise that given how sensitive to facial expressions humans are, that we'd have the capacity for a strong reaction. By the way, there is a German word for the phenomenon you're describing, called "Backpfeifengesicht"... or roughly, "A face that should be struck."

The answer seems to be that people who's faces, for any number of reasons, don't express a comfortable and familiar range of expressions. A great example, and a good discussion of this can be found here: _URL_0_
නිශ්චිත තනි පිළිතුරක් නැත, නමුත් පිළිතුරු කිහිපයක් තිබේ. මිනිසුන් මුහුණේ ඉරියව්වලට කෙතරම් සංවේදීද යන්න, අපට ප්‍රබල ප්‍රතික්‍රියාවක් සඳහා හැකියාවක් තිබීම පුදුමයක් නොවිය යුතුය. මාර්ගය වන විට, ඔබ විස්තර කරන සංසිද්ධිය සඳහා ජර්මානු වචනයක් ඇත, එය &quot;Backpfeifengesicht&quot; ලෙස හැඳින්වේ ... හෝ දළ වශයෙන්, &quot;පහර දිය යුතු මුහුණකි.&quot; පිළිතුර නම්, ඕනෑම හේතුවක් නිසා මුහුණු ඇති පුද්ගලයින් සුවපහසු සහ හුරුපුරුදු ප්‍රකාශන පරාසයක් ප්‍රකාශ නොකරන බවයි. විශිෂ්ට උදාහරණයක්, සහ මේ පිළිබඳ හොඳ සාකච්ඡාවක් මෙතැනින් සොයා ගත හැක: _URL_0_