No Dicionário Prático de Regência Verbal, de Celso Luft, Editora Ática, ocorre apenas a regência com a preposição em, ou seja, «olhar-se no espelho». Todavia, embora não seja uma expressão que ocorra com muita frequência na literatura, numa consulta ao Corpus do Português, encontrei cinco ocorrências, duas «olhar-se ao espelho», ambas escritas em textos portugueses, e três «olhar-se no espelho», todas em textos brasileiros. O meu conselho é, pois, que escreva ou diga «olhar-se no espelho», pois parece haver preferência por essa estrutura no Brasil.