Sua origem remonta à época dos romanos, onde foi criado como um cão de guarda e boiadeiro. Esses cães imigraram com as legiões romanas através dos Alpes, guardando homens e tocando o rebanho. Nos arredores de Rottweil, eles se encontraram com os cães da região. Houve, então, uma miscigenação.

A tarefa principal do Rottweiler voltava a ser a condução e a guarda de grandes rebanhos, de grandes animais e a defesa do seu dono e seu patrimônio. Ele recebeu esse nome por causa da antiga cidade de Rottweil: Rottweiler Metz-gerhund (Cão de açougueiro de Rottweil). Os açougueiros criaram esta raça por pura exibição, sem qualquer utilidade para ele. Assim, no decorrer do tempo, este cão de passeio passou a ser mais utilizado como cão de tração.

No início do século XX, quando se pesquisaram diversas raças para a função policial, o Rottweiler também foi avaliado. Em pouco tempo demonstrou ser extraordinariamente adequado às tarefas do serviço policial. Por esta razão, no ano de 1910, foi oficialmente reconhecido como um cão policial.