Há umas frases e situações em que podemos, e outras em que não podemos. Mas como não me enviou a expressão inserida numa frase em que seja clara a situação, não me é possível dar uma resposta possível.

A expressão muitas das vezes está correcta na frase:

1. Tenho experimentado momentos agradabilíssimos em muitas das vezes em que fui a tua casa, e que contigo estive.
      A mesma expressão está incorrecta nesta frase:
2. Eu já lhe disse isso muitas das vezes.