Tem toda a razão. A expressão correcta é modéstia à parte. À parte significa excepto, sem falar em, em particular, de lado. Ver 7ª. edição do Dicionário da Porto Editora, pág. 1347.
Já agora, pode afirmar: «modéstia à parte, sobre este assunto eu sei mais que o meu interlocutor».