Denota-se é o verbo que deve utilizar nesse contexto, ou seja, no âmbito da matemática.
O seu significado na frase que apresenta é o mesmo que «representa-se» («esta característica denomina-se conjunto estável de p e representa-se por W{#p|}»), pois denotar significa «representar», no sentido em que determinado símbolo ou ícone é usado para significar um dado conceito ou ideia.
Isto não impede, porém, que se fale de notação, também no âmbito da matemática, que diz respeito à correspondência entre conceitos e designações (símbolos ou palavras).