Creo que una palabra inapropiada sería lo correcto, ya que algo indecente es algo que tiende a parecerse más a un vulgar.
Ahora, respondiendo a su pregunta, creo que está relacionado fuertemente con la cultura. Entonces, como la cultura es diferente en diferentes partes del mundo, el estilo de vestir también es diferente y cualquier desviación se considera inapropiada.