Há na sua pergunta um pequeno equívoco que não é nada raro ao se abordar a questão do gênero das palavras. Pois é, gênero não é a mesma coisa que dimorfismo sexual, como diriam os biólogos.

O gênero é a propriedade que têm muitos nomes da língua portuguesa e de algumas outras línguas de variar recebendo ou perdendo marcas que indicam feminino ou masculino. A distinção entre sexos, também binária até prova em contrário, se faz apenas entre seres vivos. Assim, a atribuição de sexo é motivada, ou seja, é preciso que o ser apresente um certo número de características que o identifiquem com o grupo do sexo feminino ou do sexo masculino.

Já a atribuição de gênero gramatical é arbitrária, temos palavras do gênero feminino, outras do gênero masculino sem que apresentem uma característica comum a todas as outras do mesmo gênero. Por exemplo, o que livro e fogão têm em comum enquanto palavras do mesmo gênero? E temos os adjetivos que se flexionam no masculino ou no feminino conforme a palavra que acompanham seja de um ou de outro gênero. Além disso, o gênero é uma das categorias que mais problemas causam aos aprendizes de línguas, justamente por não ser motivado e variar de língua para língua. Die Sonne, feminino em alemão, é o nosso sol, masculino em português. Sem mencionar o gênero neutro que existe em alemão, mas não em português.

Letra é palavra do gênero feminino, mas a maneira como se convencionou designar os elementos constantes do alfabeto, em português, é preceder esses elementos de um artigo ou outro determinante masculino. Isso ocorre igualmente em francês, mas não em espanhol por exemplo, talvez seja a sua experiência nessa língua que o tenha levado ao questionamento.