Segundo Evanildo Bechara (ver Gramática Moderna do Português, 2002, págs. 208/209), as formas por extenso dos numerais ordinais que refere são as seguintes:

Em relação a 2000.º, Bechara afirma: «A tradição da língua estabelece que, se o ordinal é de 2000 em diante, o primeiro numeral usado é cardinal: 2345.ª – duas milésima trecentésima quadragésima quinta [...].»

Este uso é confirmado por Paul Teyssier (ver Manual de Língua Portuguesa, Coimbra Editora, pág. 183), para quem 2000.º se escreve por extenso como «dois milésimo» (cf.). No entanto, no Ciberdúvidas tem-se observado que o ordinal milésimo, quando acompanhado do cardinal, assume o plural (Cf. Sobre a lista dos ordinais; Numerais, cardinais e ordinais), funcionando milésimo como nome contável («um milésimo», «dois milésimos», «três milésimos»...); nesta perspectiva, o ordinal pode corresponder a «dois milésimos».

Há uma alternativa a estas duas soluções. O próprio Bechara a dá: se o segundo número é redondo, há preferência pelo ordinal, pelo que 10 000.º se diz décimo milésimo. Sendo 2000.º um número que se pode considerar “redondo”, parece então que outra forma possível é «segundo milésimo».
Refira-se, por último, que a forma milésimo corresponde também a um número fraccionário (1/1000 ou 0,001). Deste modo, «dois milésimos» são 0,002.

E obrigado pelas suas palavras finais.