Para começar, observe-se que o nome próprio em questão se faz acompanhar de artigo definido: «a Bósnia e Herzegovina», ou «a Bósnia-Herzegovina»¹. Também as duas principais regiões deste país balcânico têm sempre associado o artigo definido: «Conheço a Bósnia, mas nunca visitei a Herzegovina.»

Quanto às formas do nome do país em causa, pode este ter todas as mencionadas na pergunta: 

– Bósnia e Herzegovina – Cf. Portal das Comunidades (Portugal) e Portal Consular (Brasil);

– Bósnia-Herzegovina – Cf. Código de Redação para o português na União da Europa;

– informalmente, pelo menos em Portugal, emprega-se simplesmente Bósnia (com artigo definido): «estive na Bósnia».

Sobre o uso de artigo definido com Herzegovina, não é este necessário quando se refere globalmente o país: «estive na Bósnia e Herzegovina». Se se empregar a forma hifenizada, usa-se só artigo definido correspondente a Bósnia: «estive na Bósnia-Herzegovina».

¹ Note-se que no nome de uma das unidades políticas deste país ocorre o artigo definido: Federação da Bósnia-Herzegovina (cf. Código de Redação). A outra unidade política é a República Sérvia (da Bósnia).