Nem uma coisa nem outra. O plural de azul-celeste (com hífen!) é azul-celestes. É o que preceitua, por exemplo, o recentíssimo Dicionário da Língua Portuguesa Contemporânea da Academia das Ciências de Lisboa. Mas, cuidado, quando empregue substantivamente, como nome deste tom de azul, o plural já é azuis-celestes, com ambos os elementos no plural!