Videoarte é um substantivo feminino. Não encontrei nos dicionários a atestação das palavras videoartista e videoinstalação, nomeadamente no Dicionário Houaiss de Língua Portuguesa e no Dicionário de Português, da Porto Editora.
Todavia, tendo em conta a composição morfológica das palavras em causa, videoartista é um substantivo masculino, e videoinstalação é um nome feminino. Por outras palavras, o género de palavras compostas, formadas por um radical de origem grega ou latina e por um substantivo, é determinado sempre pelo segundo elemento: «a arte» > «a videoarte»; «o artista» > «o videoartista»; «a instalação» > «a videoinstalação».
Sempre ao seu dispor.