Aconselha-se o uso de hífen: instituição-mãe, cujo plural poderá ser instituições-mães e instituições-mãe.
A palavra em questão não está dicionarizada, nem talvez venha a estar, porque mãe pode funcionar como um elemento de composição a que certas fontes chamam «determinante específico», quando ocorre posposto a outro substantivo «e significa 'fonte', 'origem' (navio-mãe, ideia-mãe, célula-mãe), 'geratriz' (rainha-mãe), 'principal', 'mais importante' (agulha-mãe, nave-mãe)» (Dicionário Houaiss, s. v. mãe) [1]. Existe, portanto, um grande número potencial de substantivos assim compostos que podem ser atualizados pontualmente em discurso, sem necessidade de terem registo em dicionário.
Geralmente, são hifenizados os compostos formados por dois substantivos, como é o caso. Já o plural pode sofrer oscilações, mas, considerando que mãe se usa metaforicamente como sinónimo de importante, afigura-se mais simples aceitar o plural instituições-mães, se cada uma for isoladamente uma instituição e origem de outra instituição. Se várias instituições forem, no seu conjunto, origem de outras, aceita-se instituições-mãe.
[1 N.E. – O Dicionário Houaiss define o critério segundo o qual mãe tem hífen associado, quando é determinante espcíico, com o sentido de «fonte, origem»; nesta perspetiva, deve escrever-se instituição-mãe. No entanto, não é este um procedimento consensual: por exemplo, o dicionário da Academia das Ciências de Lisboa regista como subentrada a mãe as formas não hifenizadas casa mãe e língua mãe. Reconheça-se, porém, a utilidade do hífen para assinalar este uso muito especial de mãe.]