expresión vete al carajo

¿De donde viene la expresión vete al carajo?

Supongo que alguna vez te habrán mandado al carajo, y tu no sabías que era aquello pero dabas por supuesto que debía de ser un lugar desagradable, más que nada por el tono empleado...