Não encontrei qualquer referência que me permita, de forma segura e única, aconselhar uma das formas em detrimento da outra. O problema insere-se num outro mais vasto que se prende com a utilização das formas de mais e demais.
Segundo o Dicionário da Academia das Ciências de Lisboa, demais é advérbio e significa, em Portugal, «além disso», enquanto no Brasil significa «em demasia», «em excesso», «excessivamente»; indefinido, podendo ser usado enquanto determinante — «As demais pessoas foram saindo aos poucos» — e enquanto pronome — «Muitas pessoas saíram a correr. As demais foram saindo aos poucos.»
O Dicionário Houaiss classifica a palavra do mesmo modo e acrescenta aos sentidos indicados no Dicionário da Academia das Ciências de Lisboa o sentido de «em vão», «inutilmente». Tanto no sentido de «em demasia», «em excesso» como no sentido de «em vão» apresenta exemplos com a locução «por demais»: «Ele é por demais nervoso» e «Esbravejar é por demais, neste caso».
A locução de mais, a que costuma associar-se, em Portugal, o valor de quantidade, não ocorre nos dicionários, pelo que é mais difícil definir com clareza a sua utilização. De qualquer forma, parece haver em Portugal uma indefinição entre o uso de demais e o de de mais, enquanto no Brasil o uso de demais, se não é absoluto, é, pelo menos, mais frequente. Voltando à locução por demais ou por de mais, no Brasil a forma mais comum e a única que ocorre nas obras registadas no Corpus do Português é por demais. Em Portugal, ambas ocorrem. A título de curiosidade, diga-se que a ocorrência das duas versões não é de hoje e pode surgir até na obra de um mesmo autor:
a) «Lisboa começa a ter por de mais estátuas políticas.»
b) «um, a neurastenia, com as sete características que em parágrafo atrás insinuei: outro, essa sede d´ideal que permita à alma moderna, por demais sobrecarregada de negócios, o isolar-se em puras obras do espírito, e reagir por elas contra o realismo.»
Fialho de Almeida, Os Gatos, séc. XIX, in Corpus do Português.
No entanto, se tivermos em conta que a ideia de quantidade se associa, no nosso país, ao uso de de mais, talvez seja de preferir, num texto mais formal, a forma por de mais.