Em princípio, a observação que faz está correcta. O advérbio onde pode ser antecedido por preposições que se aglutinam no caso de a (aonde) e de de (donde). Em princípio, segundo a norma, a preposição, quando pedida pelo verbo, deve anteceder o complemento, ou o advérbio. No caso em apreço, estamos perante o verbo ir, que rege a preposição a («Ir ao Brasil»). Deveria, pois, ou melhor, esperar-se-ia que o advérbio fosse antecedido pela preposição e adoptasse a forma aonde. Porém, por qualquer razão que não tenho como explicar, esta prática nunca foi generalizada no caso concreto da forma aonde. Sobre este assunto, dizem Cunha e Cintra, na Nova Gramática do Português Contemporâneo, p. 351:

«Embora a ponderável razão de maior clareza idiomática justifique o contraste que a disciplina gramatical procura estabelecer, na língua culta contemporânea, entre onde (= lugar em que) e aonde (= lugar a que), cumpre ressaltar que esta distinção, praticamente anulada na linguagem coloquial, já não era rigorosa nos clássicos.»

Em síntese, se quisermos ser totalmente rigorosos, diremos «fosse aonde fosse». Todavia, o uso condiciona-nos de tal forma, que, aqui e ali, mesmo estando conscientes da diferença entre onde e aonde, deixaremos cair, no nosso discurso, um onde em vez de aonde, sobretudo enquanto advérbio interrogativo do tipo «Onde vais?»…