Os termos vibrátil e vibratório estão atestados em dicionários gerais de língua com o seguinte significado:

vibrátil – «que vibra, vibrante»;
vibratório – «que vibra, vibrátil, vibrante, formado por uma série de vibrações, que tem vibrações, que produz vibrações».

Os adjectivos antivibrátil e antivibratório não estão dicionarizados. Visto que se trata de um sistema que impede a vibração de máquinas, e como o sufixo -ório traduz a ideia de uma actividade, neste caso, a vibração das máquinas, penso que o mais adequado é «sistema antivibratório. O adjectivo antivibratório é um neologismo de língua formado por prefixação e escreve-se sem hífen. Note-se que o elemento anti- se usa com hífen apenas quando o elemento seguinte começa por h, i, r ou s.