É de facto com o, quando significa «asneira». «calinada», «dito disparatado», conforme o registo e a definição do Dicionário Infopédia e doutras fontes. Está atestado desde o começo do século XIX, no dicionário de Morais (cf. Dicionário Houaiss).
O homófono (para falantes de Portugal) com u, bujarda, significa «martelo com duas cabeças quadradas e revestidas de pontas, utilizado no acabamento de pedras» e será aportuguesamento do francês boucharde, embora nesta adaptação não seja de excluir alguma ação analógica com o j de bojarda por via popular. Tem atestação um século século depois, num dicionário brasileiro de termos técnicos (ibidem).