O plural de um composto de dois substantivos faz-se, regra geral, com ambos os elementos a irem para o plural. Uma das excepções a esta regra dá-se quando os vocábulos estão ligados por uma preposição, mesmo subentendida. Parece-me ser o caso em apreço, pois fita-cola equivale a fita de cola ou, até, fita com cola. Nesta situação só o primeiro sustantivo vai para o plural: fitas-cola que é o mesmo que dizer fitas de cola ou fitas com cola.