Se o substantivo está no plural (toalhas), os respectivos qualificativos variam também no mesmo número. Logo, o correcto é a a): toalhas de banho amarelas e vermelhas. Se fossem duas toalhas, uma amarela e outra vermelha, então, sim, empregar-se-ia cada um dos adjectivos no singular.