Os substantivos comuns terminados em -agem são realmente quase todos do género feminino em português.1 Na diacronia deste sufixo convergem duas terminações diferentes:
a) a do francês -age, evolução do latim -atĭcu-, que ocorria em palavras do género masculino: passaticu- > passage (francês, masculino) > pasaje (espanhol, masculino), mas passagem (português, feminino);
b) -agĭne (imagine- > imagem), que eram do género feminino em várias línguas românicas (francês image, espanhol imagen).
Em francês e espanhol, manteve-se o género masculino nas palavras cujas terminações remontavam a -atĭcu-; em português, pelo contrário, a terminação -agem (<-age), de origem francesa, confundiu-se com -agem (< -agĭne), generalizando-se o género feminino. É um fenómeno bastante antigo porque, considerando que a separação entre português e galego se terá verificado no século XV, a generalização do feminino está documentada nesses ramos contemporâneos do antigo sistema galego-português.
1 São excepções o arabismo almargem, «prado», que pode ser usado nos dois géneros, e certos compostos como porta-bagagem. Também são usados nos dois géneros os adjectivos selvagem e abencerragem (variante de abencerrage, «relativo à linhagem moura dos abencerrages, que dominou Granada, em Espanha).