Prefere-se «começar a chover», mas «começar de chover» não é forma incorreta.

Como auxiliar, o verbo começar tem geralmente associada a preposição a: «começou a chover». No entanto, registam-se usos literários com de, sem que se possa afirmar que este uso difere semanticamente de «começar a»: «começaram de subir a elas e...» (António Vieira, Cartas, Clássicos Sá da Costa, I, in Dicionário Estrutural, Estilístico e Sintático da Língua Portuguesa, de Énio Ramalho).

Sobre a perífrase verbal formada por «começar de...», observou Vasco Botelho de Amaral (Grande Dicionário de Dúvidas e Subtilezas do Idioma Português, 1958): «Nunca foi erro. Bons autores apresentam vários exemplos desta regência. Por exemplo: começasse de usar... (Décadas, Barros, I, 337, ed.1778). Mais chegado ao nosso tempo, Herculano escreveu: o céu começou de toldar-se. (Lendas e Narrativas, pág. 28, II, 17.ª ed.) [...].»

Note-se, porém, que atualmente «começar de» é um arcaísmo, a avaliar pela sua ausência dos dicionários de verbos recentes (Dicionário Sintático de Verbos de W. Busse, Almedina, 1995; Dicionário Houaiss de Verbos, de 2004; Dicionário Gramatical de Verbos Portugueses da Texto Editora, 2007).