Não é besteira. De certa maneira, é um "plural metafónico" como ovos, com ó aberto na penúltima sílaba, que é o plural de ovo, forma do singular, que tem ó fechado na mesma sílaba. Como já expliquei, a rigor, é o singular e não o plural que é metafónico, uma vez que o o da penúltima sílaba se fecha ("ô") por acção de um tipo particular de assimilação (a metafonia), que é devida ao o da última sílaba, pronunciado [u].
O plural avós tem vogal aberta porque é o resultado da forma romance *avolos ou *aviolos (o * indica que se trata de forma não atestada). Na Idade Média, a queda do l intervocálico deu origem a avoos que se contraiu no moderno avós. Avós não é, portanto, o plural de avó mas sim uma forma que evoluiu de um masculino plural. Por conseguinte, apesar das aparências, a forma avós mantém, pelo menos, do ponto de vista histórico, o uso do masculino plural na referência a duas ou mais pessoas de pessoas de sexos diferentes definidas por uma dada relação de parentesco.