O correto é «estar/andar de mão dada com essa pessoa».
A locução adverbial «de mão dada» – ou, no plural, como é geralmente dicionarizada, «de mãos dadas»1 – está atestada no Dicionário da Academia das Ciências de Lisboa com a aceção de «em colaboração, conjuntamente». Esta colaboração é sempre feita com alguém e, nesse sentido, iremos sempre utilizar a preposição com que introduz, entre outras, expressões que designam companhia (Dicionário da Porto Editora). Vejam-se alguns exemplos retirados do sítio Corpus do Português:
1. «[...] admiro a filosofia, mas quando ela, por assim dizer, vai de mãos dadas com a religião.» (Eça de Queirós, O crime do Padre Amaro);
2. «Se ao primeiro acesso o homem lhe parecera alheio, fechado e quase hostil, a terra senhorial e forte, de mãos dadas com uma natureza de sertão, paganizada e animalmente criadora, metia-lhe medo.(Aquilino Ribeiro, Terras do Demo).
1 A expressão apresenta «mãos dadas», no plural, quer no dicionário da Academia das Ciências de Lisboa, quer no Dicionário Estrutural, Estilístico e Sintático (Livraria Lello, 1985), de Énio Ramalho. No entanto, a forma «de mão dada», que é correta, ocorre aparentemente sem diferença de significado em textos literários do século XX.
(i) «A barra apagava-se em desencanto, a mesma barra, " quase ilha de azul ", por onde Juliette o tinha guiado quando, à chegada, ele procurava o Toulon das "Petites Alliées", o porto onde tinha passeado em espírito com Mademoiselle Dax. Tinham andado por ali de mão dada e Juliette ria.» (Urbano Tavares Rodrigues, Melancolia, in Corpus do Português).
(ii) «Aliás, a casa está como foi, os filhos de Maria Ema colaboram, não refazem as paredes, apenas as untam com umas chapadas de tinta, e os dois, agora de mão dada, fazem parte dos muros em torno dos quais existe um plano de conservação prática.» (Lídia Jorge, O Vale da Paixão: Romance, idem).