Diga-se, pois:

«Quando vim para cá, já o conhecia havia anos».

Temos de respeitar a correlação ou correspondência dos tempos.

Facilmente verificamos se a frase fica certa ou não, substituindo o verbo haver pelo verbo fazer, que também se usa em frases do tipo desta. São frequentes frases como esta: «Faz cinco anos que ele se casou». Vamos então substituir:

1) Quando vim para cá, já o conhecia fazia anos.

2) Quando vim para cá, já o conhecia "faz" anos.

A frase 2) ensina-nos que a correcção está na frase 1).