A forma correcta é álgebra booleana.

Booleano é um adjectivo que se forma a partir do antropónimo George Boole (criador da lógica matemática moderna) e do sufixo iano/eano (que se inclui em teoria de) e refere-se aos vários assuntos relacionados com os trabalhos e teorias de Boole nas áreas da álgebra e da lógica simbólica.