Na norma-padrão do português, diz-se desmaiar. A forma esmaiar também tem registo nos dicionários, mas é uma variante pouco ou nada usada atualmente (cf. Corpus do Português de Mike Davies). Esta, com origem no latim *exmagāre 'perder as forças', é mais antiga que desmaiar, forma que terá surgido por reinterpretação de es- como o prefixo des-1.
Note-se que o verbo, na aceção de «perder os sentidos», é geralmente usado intransitivamente e sem o pronome se: «ele desmaiou». No entanto, pode ter associado um pronome reflexo, quando significa «perder a cor» (cf. J. Malaca Casteleiro, Dicionário Gramatical de Verbos Portugueses, Texto Editores, 2007, s. v. desmaiar).
1 Cf. 1.ª edição (2001) do Dicionário Houaiss da Língua Portuguesa (desenvolveram-se as abreviaturas). A etimologia proposta por esta fonte é algo contraditória, porque filia esmaiar no francês, ao mesmo que a considera forma vulgar do português: «[Do] francês antigo esmaïer 'espantar-se, desfalecer', do latim *exmagāre 'perder as forças', derivado do germânico magan 'ter força, poder'; de mesma origem, ocorrem em português [a] forma erudita esmagar e a vulgar esmaiar, que, por permuta do prefixo, se tornou desmaiar [...].»