Os dicionários gerais consultados registam apenas nictúria – ver, além do Dicionário Houaiss, o Dicionário da Língua Portuguesa da Porto Editora, o Dicionário Priberam da Língua Portuguesa e o Dicionário Online Caldas Aulete. O Dicionário de Termos Médicos da Porto Editora regista nictúria mas também a forma noctúria, a qual é remetida para a primeira, o que sugere que se dá preferência a nictúria. Nos vocabulários ortográficos mais recentes, vê-se que o da Porto Editora e o da Academia Brasileira de Letras registam ambas as formas, mas o Vocabulário Ortográfico do Português (Portal da Língua) e o Vocabulário Ortográfico Comum da Língua Portuguesa (Instituto Internacional da Língua Portuguesa) acolhem apenas nictúria. Refira-se ainda que, nos vocabulários associados ao anterior acordo ortográfico (o de 1945) – o Vocabulário Ortográfico da Língua Portuguesa, de 1940, e o Vocabulário da Língua Portuguesa, de 1966, da autoria de Rebelo Gonçalves –, consigna-se somente nictúria.
Das duas formas concorrentes, nictúria é a mais coerente do ponto de vista etimológico, visto associar elementos da mesma origem, ou seja, do grego clássico: nict(i/o)-, de núks, nuktós, «noite» + -úria, de -ouría, «ação de urinar» (Dicionário Houaiss). Mesmo assim, observe-se que a forma noctúria, que é híbrida (noct- do latim nox, noctis , «noite» + -úria, do grego, como já se referiu)*, está muito difundida; com efeito, numa pesquisa do Google Académico (em 14/09/2016), os resultados indicam que noctúria é até bastante mais frequente do que nictúria. É possível que para a difusão de noctúria contribua a preponderância que tem nocturia na bibliografia em inglês, muito embora nesta língua a forma nycturia não seja desconhecida (cf. artigo da Wikipédia em inglês).
Em suma, nictúria revela-se mais coerente quanto a critérios de formação de palavras. A forma noctúria, sem ser ilegítima nem constituir um erro inequívoco, configura uma alternativa historicamente menos apoiada, apesar do seu uso em expansão.
* Os compostos híbridos, constituídos pela associação de elementos latinos a gregos, não têm tido o favor dos gramáticos mais tradicionais (cf. Celso Cunha e Lindley, Nova Gramática do Português Contemporâneo, Lisboa, Edições João Sá da Costa, 1984, pág. 115).
N. E. (14/09/2016) – A resposta foi corrigida e completada na sequência de um reparo do consulente Jorge Beleza, a quem se agradece a atenção.