As duas expressões estão corretas, mas, entre elas há uma (pequena) diferença de ordem semântica.

Associando a museu a expressão «da eletricidade», sugere-se que se trata de um museu dedicado – que pertence – a um tema tomado globalmente, neste caso, um fenómeno e uma área de atividade bem identificados referencialmente e que se denominam eletricidade.

Com a expressão «museu de eletricidade», em que «eletricidade» ocorre sem artigo definido, designa-se um tipo de museu, por oposição a um museu «de história» ou a um museu «de música». Na ausência de artigo definido, os sintagmas «de eletricidade», «de história», «de música» e outros funcionam como sintagmas preposicionais classificadores, isto é, como expressões introduzidas por preposição, cujo complemento nominal (eletricidade, história, música) «não tem qualquer valor referencial», pois «representa semanticamente um tipo» (Gramática do Português, Lisboa, Fundação Calouste Gulbenkian, 2013-2020, p. 1067).