Os dicionários portugueses e brasileiros registam os termos modelação e modelagem como sinónimos. O conceito é utilizado para significar a operação de modelar (criação de modelos ou representação por meio de modelos) - o que se encaixa na tradução para o português do termo inglês "modelling". Um ou outro podem ser utilizados indistintamente. Não encontrei em nenhum dicionário o termo "modelização", pelo que não recomendo o seu uso.