A locução adverbial de todo significa «totalmente», «completamente», «inteiramente». Inclui uma forma que foi, em português antigo, alternativa a tudo, pronome indefinido invariável. Nos Cancioneiros e na prosa da Idade Média, verificam-se duas formas desse pronome, todo e tudo. A ocorrência de todo em locuções deve ser encarada como a sobrevivência de um arcaísmo, situação que é muito frequente em frases feitas. Por outro lado, a palavra todo é também substantivo com o significado de «conjunto», «totalidade».
Quanto ao uso de de todo no contexto a que a pergunta se refere, não vejo nenhuma incorrecção. A locução parece ser muito frequente com a negação; por exemplo: «Os filmes de ficção científica não são, de todo, os meus favoritos.» Neste caso, de todo reforça a negação na frase em que ocorre. No exemplo da pergunta, de todo tem um comportamento semelhante, estando também associado ao advérbio de negação da frase anterior («Não que isso seja um defeito.»).