Trata-se da contração de por (na sua variante per) com o pronome o, apesar de este pronome pertencer a uma oração de infinitivo e atualmente se escrever assim:

(1) «e suspeitosa, por o haver colhido já vezes cento em amorosos furtos...»

A possibilidade de a preposição por se contrair com o pronome pessoal o é um arcaísmo e está atestada na Idade Média:

(1) «E dom Ivam veo aqui polo veer e eu quero-o provar e quero-o levar como quer que seja» (A Demanda do Santo Graal, cópia do século XV, in Corpus do Português). 

Em (1), polo (polo veer) equivale a pelo,  mas, em português contemporâneo, é necessário separar a preposição da forma o, porque esta é um pronome pessoal. Sendo assim, o exemplo medieval corresponde a «por o ver», ou, ainda, tendo em conta o valor de finalidade associado, «para o ver».

No português contemporâneo, as contrações legítimas são, portanto, as de preposição com artigo definido. Assim, em «ele veio aqui pelo corredor», a forma pelo é a contração de por com o artigo definido o, e não uma contração com um pronome pessoal átono.

Acrescente-se que "pelo o haver colhido" é uma incorreção, porque repete desnecessarimente o pronome que se encontra integrado na forma arcaica pelo.