Também sou de opinião que o verbo se encontra em sentido metafórico, pelo que a expressão «andar ao peditório» deve ser analisada como um todo. Trata-se, por conseguinte, de uma expressão fixa.
Não obstante, se assumirmos um significado literal, também é possível decompor a frase nos seus constituintes sintácticos. Assim,
«O José» — sujeito
«andou ao peditório» — predicado
«ao peditório» — complemento oblíquo (de acordo com o Dicionário Terminológico).
Não é um complemento indirecto, porque não é passível de ser substituído pelo pronome lhe: * «andou-lhe».
Disponha sempre!