Because most coffee you drink is hotter than room temperature, so in comparison to what you expect the coffee to feel like, a coffee at room temperature would feel cold.

But we usually drink milk from the refrigerator so when it's a room temperature it's hotter than what you expect.

And the reason why coffee is usually hot is because you need hot water to properly get the favour out of the grains and the reason why milk is usually cold is because you can keep it longer that way.
ඔබ බොන බොහෝ කෝපි කාමර උෂ්ණත්වයට වඩා උණුසුම් බැවින්, ඔබ කෝපි හැඟෙනු ඇතැයි ඔබ අපේක්ෂා කරන දෙයට සාපේක්ෂව කාමර උෂ්ණත්වයේ ඇති කෝපි සීතලක් දැනෙනු ඇත. නමුත් අපි සාමාන්‍යයෙන් කිරි බොන්නේ ශීතකරණයෙන් ඒ නිසා කාමර උෂ්ණත්වයකදී එය ඔබ බලාපොරොත්තු වන ප්‍රමාණයට වඩා උණුසුම් වේ. කෝපි සාමාන්‍යයෙන් උණුසුම් වීමට හේතුව ධාන්ය වලින් නිසි ලෙස ප්‍රසාදය ලබා ගැනීමට උණු වතුර අවශ්‍ය වන අතර කිරි සාමාන්‍යයෙන් සීතල වීමට හේතුව ඔබට එය දිගු කාලයක් තබා ගත හැකි බැවිනි.