Em português europeu, pelo menos, no registo informal, a forma efetivamente usada é «ao tempo que (não te via)», com a preposição a, e não «há o tempo que...», que não se atesta como construção equivalente ou mais correta. Também se diz «aos anos que...». Estas expressões são interpretáveis como «há quanto tempo/quantos anos (que) que não te vejo». Se estas expressões não estiverem à cabeça da frase, dispensa-se a partícula de ligação que (que excessivo)¹: «Não te via ao tempo», «não te via aos anos».

Nas gramáticas, nos prontuários e nos dicionários consultados, não encontrei descrita esta construção e reconheço que a sua estrutura não é de origem e interpretação óbvias. Será por esta razão que o consulente procurou alguma explicação, que me parece plausível, com base numa modificação das expressões «há que tempo...» e «há que anos.../há anos que...».

No entanto, existem complementos circunstanciais de tempo introduzidos pela preposição a para marcar medida e periodicidade; p. ex., no  Dicionário Estilístico e Sintáctico da Língua Portuguesa (Porto, Lello), de Énio Ramalho, registam-se locuções como ao litro («este produto compra-se ao litro»), ao mês («todos os empregados aqui ganham ao mês»). Acresce que Augusto Epiphanio da Silva Dias, na sua Syntaxe Historica Portuguesa (2.ª edição, 1933, pág. 119), apresenta uma frase muito parecida com a que aqui se discute atualizei a ortografia:

(1) «Ao tempo que te não vi/Já o caminho tem ervas.»

Cabe, porém, observar que, no contexto de «ao tempo que», ocorre o pretérito perfeito do indicativo, enquanto nos exemplos do consulente o tempo verbal é o imperfeito do indicativo. Acresce que Silva Dias dá o exemplo como atestação do uso da preposição a para exprimir «olhando a». Mas encontram-se atestações mais recentes e mais claras de «ao tempo» e «aos anos»  (pesquisa feita no Corpus do Português, de Mark Davies e Michael Ferreira):

(2) Uma noite, estavam todos três nas camas, acordados, a pensar nos brindes que ele traria, quando ouviram entrar o pai: « Eles já estão a dormir? - ao tempo! » disse a mãe. (José Rodrigues Miguéis, A Escola do Paraíso, 1982)

(3) JN - Não é verdade que o Barcelona lhe deva prémios de jogo? VB - Não, ao tempo que está tudo resolvido. E, repare, eu não sou uma daquelas pessoas que falam e que depois se desmentem só porque as coisas levaram determinado rumo. (Vítor Baía, Jornal de Notícias, 5/06/96)

(4) NQ Mas já não trabalha? INF (..) Já não. Aos anos que aquilo está parado, que aquilo não trabalha. (corpus CORDIAL: CBV 35)

(5) Lembra-me muito bem de Ferreira Dias, nos primeiros anos da década de 50, nos garantir que, depois de 1975, não haveria em Portugal um só kw hidráulico por aproveitar. Pobre Ferreira Dias! aos anos que já morreu, 1975 já lá vai há mais de 20 anos, e quantos milhões e milhões de kwh deixamos ainda correr para o mar! (Barragens Almeida, Jornal de Notícias, 22/01/96)

Estes exemplos levam a supor que «ao tempo (que)» e «aos anos (que)» são sobretudo expressões da oralidade, de caráter popular, que, ainda supondo serem deturpações de formas hipotéticas como «há o tempo» e «há os anos», levantariam o problema de para tais formas hipoteticamente mais "corretas" não se enconttrarem atestações em português (cf. Corpus do Português). Será que «ao tempo» e «aos anos» são cristalizações de uma frase como «isso (que se refere em dicurso) conta-se aos anos», em que «aos anos» alternaria com «ao tempo», com base na expressão «é tempo» («vinte anos de casados é tempo»), no sentido de «(muito) tempo»? Ficam as perguntas.

Observe-se, entretanto, que a forma ocorre no sentido de «naquele tempo», com valor de localização no tempo (pesquisa no Corpus do Português):

(6) P. - Já se chamavam " católicos progressistas "? R. - Já, embora recusássemos a expressão, porque ela tinha ao tempo uma carga pejorativa. (João Bénard da Costa, Público)

Em síntese, sugiro que as expressões «ao tempo que...» e «aos anos que...», seguidas de imperfeito ou presente do indicativo, se relacionem com o modelo de «ao litro» e «ao mês», embora sintaticamente se comportem em analogia com locuções temporais formadas com haver: «Ao tempo que não te via/vejo» vs. «Há (que) tempo que não te via/vejo»; «Aos anos que não te via/vejo» vs. «Há (que) anos que não te via/vejo».

¹Que excessivo: termo usado por Evanildo Bechara (Moderna Gramática Portuguesa, pág. 329) para designar o que acrescentado a enquanto, como em enquanto que, apesar da reprovação dos puristas; segundo o mesmo gramático, este que é corrente com expressões temporais: «desde aquele dia que o procuro» (idem).