Antes de mais, deve ser consultada esta resposta de Eunice Marta e Edite Prada.
Parece-me que semana, hora e minuto são palavras que designam conjuntos específicos, motivo pelo qual não os consideraria nomes coletivos.
Uma semana designa exatamente um conjunto de sete dias, que decorrem numa sequência própria, e não qualquer outro conjunto de dias. De igual modo, hora e minuto definem conjuntos rigorosos de minutos e segundos, não correspondendo verdadeiramente à noção dada, por exemplo, por Cunha e Cintra, na Nova Gramática do Português Contemporâneo («substantivos que, no singular, designam um conjunto de seres ou coisas da mesma espécie», 178).
Neste sentido, poderemos também consultar as definições dadas pelos dicionários e encontraremos, por exemplo, no Dicionário Houaiss, a referência a hora como um «Segmento de tempo equivalente a 60 minutos e vigésima quarta parte de um dia solar», isto é, não pelo conjunto de minutos que a constitui mas pela parte que ela própria é de um todo. Do mesmo modo, minuto é definido como «unidade de medida do tempo equivalente a 60 segundos ou 1/60 da hora» e, por sua vez, semana como «período de sete dias fixado pelo calendário; espaço de sete dias consecutivos».