O uso de z ou s (com som z) depende, geralmente, da origem da palavra. Assim, há algumas regras (apresentadas no Prontuário Ortográfico da Língua Portuguesa) que se podem seguir para compreender melhor este uso:

1 – Escreve-se com z:
a) as palavras onde z corresponde ao t ou c nas palavras em latim. Por ex.: dizer – “dicere”;
b) as terminações em -ez ou -eza dos substantivos derivados de adjectivos com aqueles sufixos: lucidez, de lúcido, por exemplo;
c) as palavras derivadas com os sufixos aumentativos -az, -zão, -zarrão, -zada, -zona;
d) as palavras derivadas com os sufixos diminutivos -zinho, -zito;
e) -izar usa-se quando é sufixo verbal (vem do latim -izare): idealizar (de ideal), suavizar (de suave);
f) os substantivos terminados em -ização, quando derivados em -izar: civilização (de civilizar), simbolização (de simbolizar);
g) no fim das palavras oxítonas (ou agudas) terminadas em -az, -ez (se o e for fechado), -iz, -oz, -uz.

2 – Escreve-se com s:
a) o sufixo -esa (do latim -ensa) emprega-se: no feminino dos gentílicos em ês, por exemplo portuguesa; na formação do feminino que indica certas dignidades, por exemplo duquesa (de duque), marquesa (de marquês), baronesa (de barão); como característica dos substantivos que derivam de verbos com radical terminado em d: despesa (de despender), presa (de prender);
b) isar emprega-se quando os verbos procedem de nomes com s: analisar, avisar, etc.
c) no fim das palavras oxítonas (ou agudas) terminadas em -es (se o e for aberto).
Decerto existem excepções, mas, para já, estas regras conseguem dar-lhe algumas justificações e permitem-lhe compreender alguns porquês.