O Serviço Geográfico foi criado em 31 de maio de 1890, inicialmente anexo ao Observatório do Rio de Janeiro e depois transferido para o Ministério do Exército, então Ministério da Guerra. Em 20 de junho de 1903, iniciava a execução do Projeto "A Carta Geral do Brasil", elaborado pelo Estado-Maior do Exército, com a instalação da Comissão da Carta Geral, em Porto Alegre - RS.
A partir de 1917 o Serviço é progressivamente organizado na Fortaleza da Conceição, no Rio de Janeiro - RJ, sob a denominação de Serviço Geográfico Militar. Em 1920 chega ao Brasil a Missão Austríaca, contratada pelo Estado-Maior do Exército, com a finalidade de fornecer o embasamento técnico necessário ao mapeamento do Território Nacional. Os austríacos introduziram no país o levantamento topográfico à prancheta, os métodos estereofotogramétricos de emprego de fotografias terrestres e aéreas e a impressão off-set.
Até 1932, o Serviço Geográfico Militar e a Comissão da Carta Geral atuavam de forma independente. O primeiro, executando o mapeamento de áreas no então Distrito Federal e a segunda, realizando levantamentos no Rio Grande do Sul. A partir daquele ano, o Serviço passa a denominar-se Serviço Geográfico do Exército (SGE), e a então Comissão da Carta Geral dá origem à Primeira Divisão de Levantamento. Finalmente, em 1946, são regulamentadas as atividades da Diretoria do Serviço Geográfico do Exército, que funcionaria nas instalações históricas do Antigo Palácio Episcopal da Conceição, no Rio de Janeiro-RJ, desde então, até ser transferida para o Quartel General do Exército, em Brasília-DF em 1972.
A atual denominação Diretoria de Serviço Geográfico (DSG) é atribuída por Portaria Ministerial de 1953, em conformidade com a nova estrutura de organização do Exército.
Por meio da Portaria nº 1.106-Cmt EX, de 18 de julho de 2018 (publicada no Boletim do Exército nº 30, de 27 JUL 18), foi concedida à Diretoria de Serviço Geográfico, com sede na cidade de Brasília - DF, a Denominação Histórica "SERVIÇO GEOGRÁFICO GENERAL ALÍPIO VIRGÍLIO DI PRIMIO".