O seu raciocínio está bem feito, mas...

Vejamos então:

Final. – Pode ser substantivo masculino: fim, última parte. Pode ser adjectivo: do fim, último, derradeiro.

Como o vocábulo final pode ser um substantivo, está correcta a expressão:

No final de Maio.

Inicial. – É geralmente adjectivo: as tuas palavras iniciais foram belas.

Pode ser substantivo, mas não masculino, como o anterior, mas sim feminino e com um só significado: primeira letra dum nome ou de qualquer palavra. Ex.: A inicial da palavra mesa é uma consoante.

Conclusão: não é correcto dizermos "no inicial de Maio".

É correcto dizermos "a parte final de Maio" e "a parte inicial de Maio", mas tem um inconveniente: é expressão mais longa do que "o fim/o início de Maio".