Não tem de usar vírgula, porque a frase é interrogativa parcial, isto é, incide sobre a identificação da referência de um constituinte frásico que, como é típico nessas interrogativas, se desloca para o começo da frase. Esse constituinte desempenha a função de modificador no grupo verbal «tinha dormido todo o Inverno debaixo de quê».
Cabe assinalar que o constituinte «debaixo de quê» não é o mais correcto, porque quê é forma tónica de que e ocorre em final de frase ou sintagma: «O sapo tinha dormido todo o Inverno debaixo de quê?»/«O sapo dormiu todo o Inverno para quê?»; «debaixo de quê, pode-se saber?»/«para quê, pode-se saber?» Deve ser por isso que se levantou a questão da vírgula no espírito do consulente. Sugiro por isso que se escreva «debaixo de que coisa tinha o sapo dormido todo o Inverno?». Em todo o caso, note-se que, segundo a Gramática da Língua Portuguesa (Lisboa, Editorial Caminho, 2003, pág. 475), quê se pode usar em posição inicial em interrogativas não frásicas: «Porquê tanta canseira?» (idem, pág. 475); «Para quê tanto sono?».