Segundo o Dicionário Houaiss da Língua Portuguesa, ermida evoluiu do latim eremīta,ae, «lugar deserto, afastado, o que vive ou fica solitário, nesse lugar», mediante a acepção «pequena igreja em lugar ermo», adquirida no latim tardio. O próprio termo latino já era uma adaptação do grego érēmos ou erêmos,é,on, «deserto».

Da mesma raiz grega, passando pelo latim, também se formou eremita, «o que por penitência vive num lugar deserto», por via erudita ou semierudita. Algo de semelhante sucede com a palavra ermo, que se desenvolveu a partir do latim erĕmus,a,um em vez de erēmus, «ermo, deserto», empréstimo do já mencionado termo grego érēmos.