As formas corretas das frases são:
«Eu fui a Lisboa.»
«Eu fui à Covilhã1.»
Usa-se somente a preposição a, quando o nome da cidade (e de qualquer outro topónimo) não é originariamente um substantivo/nome comum, como é o caso de Lisboa.
Por sua vez, a ocorrência de à2 (contração/crase da preposição a com a forma feminina singular do artigo definido a) só é possível nos casos de «alguns nomes de cidades que se formaram de substantivos/nomes comuns [que] conservam o artigo» (Cunha e Cintra, Nova Gramática do Português Contemporâneo, Lisboa, Sá da Costa, 2002, p. 230).
Nota: Aconselha-se a leitura de um texto em linha sobre o uso da preposição em com os topónimos.
1 Segundo José Pedro Machado, em Dicionário Onomástico Etimológico da Língua Portuguesa (Lisboa, Livros Horizonte, 2003), a origem de Covilhã «talvez esteja ligada a covil, em relação a minas e covas naturais». São exemplos de topónimos que devem ocorrer com artigo, por exemplo, em Portugal: «o Porto», «a Figueira da Foz», «a Covilhã», «a Póvoa de Varzim», «a Anadia».
2 Em à, o acento é grave, e não agudo. Este acento é utilizado, precisamente, apenas «para indicar a crase (contração) da preposição a com a forma feminina do artigo definido (a, as) e com os determinantes e pronomes demonstrativos a(s), aquele(s), aquela(s), aquilo: à, às, àquele(s), àquela(s), àquilo» (Cunha e Cintra, Nova Gramática do Português Contemporâneo, Lisboa, Sá da Costa, 2002, p. 64).