Embora fêmeo seja possível, sobretudo no Brasil, é menos usado que fêmea. Passo a transcrever a explicação dada no Dicionário Houaiss da Língua Portuguesa (os itálicos do original vão a negro): «a) 'fêmeo' é adj[etivo] que aceita as flexões habituais da língua: javali fêmeo, jacaré fêmeo, tatu fêmeo: toutinegra fêmea, formiga fêmea b) todavia, o masculino deste adjetivo, por ser morfologicamente masculino, mas feminino na significação, é menos us[ado] do que o substantivo fêmea para formar femininos compostos; tal emprego exige, porém, o uso de hífen, por se tornar palavra composta de dois substantivos: jacaré-fêmea, tatu-fêmea, beija-flor-fêmea [...].»

Em Portugal só se usa fêmea e macho, sem variação de género e sem hífen (cf. Celso Cunha e Lindley Cintra, Nova Gramática do Português Contemporâneo, pág. 196). Note que mesmo no Brasil parece não haver consenso quanto ao uso do hífen com fêmea e macho, como pode ver na Moderna Gramática Portuguesa, de Evanildo Bechara (p. 138; itálicos do original a negro): «Enquadram-se [no grupo dos nomes que fazem feminino com auxílio de outra palavra] os nomes de animais para cuja distinção de sexo empregamos as palavras macho e fêmea:
cobra macho; jacaré fêmea [...]»

Repare-se ainda que Bechara não fala no uso de fêmeo.