Ambos os modos verbais são possíveis, embora veiculem valores diferentes.
As orações «que a tinha visto a fazer determinada coisa» e «dizer que a tivesse visto a fazer algo» são ambas completivas do verbo declarativo dizer (e não do adjetivo capaz), pelo que será a sua relação com este verbo que permitirá determinar qual o modo mais ajustado: o indicativo ou o conjuntivo.
Os verbos declarativos constroem-se com o modo indicativo quando integram uma oração afirmativa. Simplificamos aqui a frase apresentada para efeitos de análise:
(1) «Ele disse que a tinha visto fazer algo.»
Quando o verbo declarativo integra uma oração negativa, pode construir-se com indicativo ou conjuntivo:
(2) «Ele não disse que a tinha visto fazer algo.»
(3) «Ele disse que a tivesse visto fazer algo.»
A diferença entre as frases (2) e (3) está relacionada com a atitude do locutor relativamente a veracidade da oração subordinada: o modo indicativo (2) assinala um maior comprometimento com o valor de verdade e o modo conjuntivo (3) assinala um menor comprometimento com o seu valor de verdade1.
Deste modo, as duas frases apresentadas pelo consulente são possíveis, distinguindo-se pelo valor de verdade que o locutor associa à situação descrita pela proposição «ter visto alguém fazer algo».
Disponha sempre!
1. Para mais informação, cf. Barboso in Raposo et al., Gramática do Português. Fundação Calouste Gulbenkian, pp. 1861-1862.