Não há propriamente uma regra. O que existe são critérios com fundamento na história das palavras. Assim:
– A forma -ês é um sufixo que, associando-se geralmente a radicais de substantivos, forma adjetivos e substantivos que exprimem naturalidade ou proveniência (gentílicos) : China → chinês; Irlanda → irlandês; montanha → montanhês.1
– A forma -ez é um sufixo que forma substantivos abstratos com base em adjetivos: gago → gaguez; malvado → malvadez; escasso → escassez.
As diferentes grafias destes dois sufixos parecem ter estabilizado depois da reforma ortográfica de 1911, com base em razões históricas: -ês vem do latim -ENSE; e -ez, do latim -ITIES (cf. Dicionário Houaiss).2
Trata-se, portanto, de dois sufixos que evoluíram de sufixos latinos diferentes, que no português medieval tinham pronúncias diferentes (-ês soaria como "-êss", e -ez como "-ets"), e que mais tarde acabaram por convergir na mesma pronúncia.
Em suma, a este respeito, a solução para encontrar a ortografia certa é atender realmente encontrar um dicionário, mas, querendo ir mais além, um que inclua notas etimológicas de modo a compreender-se a origem da palavra e, assim, justificar-se a opção por um sufixo ou outro.
1 Excetuam-se alguns casos, como arnês, freguês, mês, três, que etimologicamente não incluem o referido sufixo latino.
2 O critério para a distribuição de -s e -z finais recua às Bases da Reforma de 1911 (in A Demanda da Ortografia Portuguesa, organização de Ivo Castro, Inês Duarte e Isabel Leiria, Lisboa, Edições João Sá da Costa, 1986, pág. 159), onde se prescreve que «[...] ce, ci, ç, ou z final de vocábulos correspondem a ci, ti latinos, a ss arábicos; e s, ss a s ou ss latinos [...]».
