Exactamente. Diz-se «gostar de»: «dê um presente à pessoa de quem gosta» — porque se trata de uma pessoa, usamos quem (ou, também, que).
Quando tratamos de coisas ou animais, usamos só que. Ex.: «Escolho a cor de que mais gosto; acaricio o meu cão, o animal de que mais gosto.»