Segundo o "Dicionário Etimológico Onomástico" do Dr. José Pedro Machado, tem origem na alcunha Baganha, proveniente do topónimo de Oliveira de Azemeis com a mesma forma. E este provém do nome comum baganha, bagaço de azeitona. Já aparece em 1258 com a forma Baganha.