Pelugem significa: «conjunto de pêlos»; «primeiros pêlos que aparecem no rosto».
Penugem significa: «conjunto de penas finas e macias que cobrem o corpo das aves»; «primeiros pêlos e cabelos»; «buço».

Como vemos, a palavra penugem também se aplica aos seres humanos, especialmente quando nos referimos a pequenos pêlos.

Para evitarmos as dúvidas, é preferível usarmos o vocábulo pelugem, embora seja pouco corrente.