Não temos uma resposta categórica, mas musculoinvasivo é a forma mais compatível com a normas do Acordo Ortográfico de 1990. "Músculo-invasivo" é muito discutível, e "músculoinvasivo" é impossível, mesmo no quadro da ortografia de 1945.

É de assinalar que palavra composta em questão foge ao tipo de compostos abrangidos pela atual norma ortográfica. Com efeito, com o elemento musculo- registam-se compostos como musculoadiposo e musculoesquelético, os quais, à luz do atual acordo ortográfico, só terão hífen se o segundo elemento de composição começar pela mesma vogal com que acaba musculo- (caso que não tem até agora registo).

Por outro lado, musculoadiposo e musculoesquelético revelam uma estrutura de coordenação, pois os seus significados resultam da adição de duas noções: musculoadiposo significa «formado por músculo e tecido adiposo», e musculoesquelético é entendido como «relativo ao sistema muscular e ao sistema do esqueleto» (cf. Infopédia). Não é esta, porém, a estrutura nem a semântica de musculoinvasivo, que se interpreta como «invasivo de músculo», numa estrutura que até há décadas não parecia frequente nos compostos de língua portuguesa, mas que é muito produtiva na língua inglesa – p. ex. muscle invasive.

Mesmo assim, aceitando que musculo- funciona como primeiro elemento de um composto de modo semelhante ao de um prefixo, então a forma mais correta é realmente musculoinvasivo, de harmonia com a Base XVI do Acordo Ortográfico de 1990.