Entre as frases apresentadas, apenas a primeira não é aceitável.
As três frases indicadas na questão são constituídas por duas orações:
– «Não sei»: oração subordinante que inclui um verbo epistémico (verbo que exprime o saber);
– «se ele está/estaria/esteja em casa»: oração subordinada completiva que corresponde a uma interrogativa indireta, introduzida por se, uma conjunção subordinativa completiva.
A modalidade epistémica exprime o saber ou a crença do locutor (ou de alguém de quem se fala - «Ele sabe que/se») sobre a afirmação que se apresenta na oração subordinada. Os verbos que exprimem conhecimento selecionam o modo indicativo na oração subordinada (cf. Mira Mateus, Gramática da Língua Portuguesa, p.261 e 599). Deste modo, exprime-se o saber relativamente a dados factuais (1), sendo a oração completiva apresentada como verdadeira:
(1) «Ele sabe que hoje o João está em casa.»
Normalmente, a introdução de uma negação na oração subordinante inverte o valor de crença expresso, ou seja, passa a exprimir-se um valor de crença fraco, o que conduz à seleção do modo conjuntivo1:
(2) «Não tenho a certeza que ele esteja em casa.»
Porém, quando a oração completiva é uma oração interrogativa indireta, ainda que a subordinante inclua uma negação, não há lugar à seleção do conjuntivo como modo da subordinada porque «é assumida a veracidade de uma das proposições que fazem parte do conjunto de respostas possíveis à pergunta formulada e é esta a razão pela qual o modo selecionado é o indicativo»2. Por esta razão, é aceitável a frase (3) e não a frase (4):
(3) «Não sei se ele está em casa.»
(4) «*Não sei se ele esteja em casa.»
Os verbos epistémicos são também compatíveis com o modo condicional na oração subordinada, desde que este esteja associado, por exemplo, a uma situação hipotética1:
(5) «Não sei se ele estaria em casa se tu chegasses às 18h.»
Disponha sempre!
* – Este sinal assinala a agramaticalidade da frase.
1. Para mais informação, cf. Raposo et al., Gramática do Português. pp. 678 e ss.
2. cf. Idem, ibidem, p. 1845.