Não se trata de palavras da mesma família, porque as origens latinas de mar e margem são muito diferentes.

O substantivo mar vem «[...] do lat. mare, is, "mar" [...]» (Dicionário Houaiss), enquanto margem se desenvolveu «[...] do lat. margo, inis, "borda, margem, extremidade, beira; fronteira, raia; umbral, limiar" [...]» (idem). Poderíamos pensar que os étimos latinos tivessem algum parentesco mais remoto, mas a verdade é que o latim mare se liga ao indo-europeu *mori-, «mar», ao passo que margo se relaciona com outro radical do indo-europeu, *merg-, «borda, rebordo, limite, margem», donde também vem o germânico *marko, que deu mark em inglês e, em português, marca, que é palavra de origem germânica (sobre as origens indo-europeias dos étimos latinos de mar e margem, consulte-se, em inglês, o Online Etymology Dictionary).