Não parece haver resposta segura acerca da expressão.

Raia pode figurar em dicionários de calão como sinónimo de «erro, asneira». Ora, raia pode dever talvez essa aceção a um certo erro que se comete no bilhar, quando se dá uma «tacada com que se atinge a bola do parceiro em vez da própria» (Dicionário Houaiss). Acresce que no dicionário da Academia das Ciências de Lisboa se regista «dar raia», no sentido de «fazer uma asneira», mas também «dar uma raia», com o significado de «tocar a bola do parceiro de bilhar com a tacada que se dá na própria bola; falhar a tacada».

Não se encontrou aqui informação que confirme o que acima se sugere, mas arrisca-se a hipótese de «dar raia» resultar da evolução semântica de «dar uma raia».