Desestabilizar é o vocábulo, relativamente recente, que se deve usar como antónimo de estabilizar. Instabilizar, ainda não registado, tanto quanto eu saiba, seria «tornar instável», o que, afinal, o primeiro verbo já quer dizer, dado que estabilizar significa «tornar estável»!

N.E. - Vários dicionários como o da Academia das Ciências de Lisboa, o da Porto Editora ou o Universal da Texto Editora já registam a forma destabilizar, que se impôs pelo uso.