Se a ideia é de que, a cada estrofe, haverá dois coros fazendo o(s) salmo(s), deve-se dizer «Façamos (o próximo salmo) a/em dois coros por estrofe».

A justificativa é simples: as preposições a ou em (menos frequentemente* a preposição em, segundo se infere da frequência de usos encontrados no Corpus do Português) são empregadas em expressões que indicam modo/companhia, como em «O concerto a duas vozes realizou-se ontem»; «A apresentação em duas vozes impactou a audiência». Quanto ao uso da preposição por em «por estrofe», a intenção comunicativa justifica a sua presença para marcar a ideia de partição (cada estrofe).

Sempre às ordens!

* Talvez a baixa frequência de em (no trecho «em dois coros») se deva à sutileza semântica de "divisão" trazida por essa preposição – ou seja, ao usarmos «em dois coros», o sentido não necessariamente indica que ambos os coros estarão juntos, isto é, esses dois coros podem estar em separado (no tempo), o que implicaria um sentido diferente do que se pretende comunicar.