En 1904 se creó la División de Minas, Geología e Hidrología por Decreto del 25 de octubre con la finalidad de “efectuar las exploraciones geológicas, mineralógicas e hidrogeológicas y especialmente los estudios de combustibles minerales y fuentes termales”. La continuidad histórica de las misiones y funciones hace que se considere ese Decreto el acto fundacional del Servicio Geológico de la República Argentina.
Para la conformación del Servicio Geológico en su etapa inicial, se fusionaron dos unidades preexistentes: la División de Minas y Geología y la Comisión de Estudios de Napas de Agua y Yacimientos Carboníferos. La primera fue creada en 1885 como Sección Minas, dentro del Departamento de Obras Públicas del Ministerio de Interior con el fin de realizar estudios geológicos, mineros e hidrogeológicos.
A partir de 1904, con la creación de la División de Minas, Geología e Hidrología, se organizaron los trabajos sistemáticos de perforaciones, geología y exploración de recursos minerales, de aguas, carbón e hidrocarburos. La progresiva adquisición de maquinaria de perforaciones, con el apoyo técnico de los talleres del organismo, aseguró un incremento sustancial en el programa de perforaciones para la búsqueda de agua y, derivado de este, la búsqueda de combustibles fósiles, que terminaría en el hallazgo de petróleo en Comodoro Rivadavia (Cuenca del Golfo San Jorge) en 1907 y en Plaza Huincul (Cuenca Neuquina) en 1918, sentándose así las bases del desarrollo petrolero argentino. El descubrimiento del petróleo en Comodoro Rivadavia marcó así un hito en la historia institucional del Servicio Geológico y consolidó el accionar del Estado Nacional en la realización de estudios geológicos regionales, organizados de manera sistemática, con el fin de promover el conocimiento y aprovechamiento de los recursos minerales del país.
A partir de 1963, con la designación de Instituto Nacional de Geología y Minería (INGM), se desarrolló planes regionales de prospección y exploración con el fin de promover la minería a partir de una adecuada evaluación del potencial minero del territorio nacional. Esta actividad dio lugar a los primeros descubrimientos de mineralización diseminada. En 1972 se reorganiza como Servicio Nacional Minero Geológico, como unidad centralizada dependiente de la Secretaría de Minería de la Nación y en 1993 se escinde del área minera como Dirección Nacional del Servicio Geológico, unidad que absorbió todas las funciones técnicas en los campos geológicos, geológico-mineros y temáticos.
Finalmente, en 1996, se constituyó el Servicio Geológico Minero Argentino (SEGEMAR) como organismo descentralizado unificando la entonces Dirección Nacional con el recientemente creado Instituto Nacional de Tecnología Minera, asumiendo la continuidad histórica de las misiones y funciones, garantizando la generación sistemática de información geológica del territorio nacional, la evaluación de los peligros geológicos, el monitoreo de la actividad volcánica, con el objetivo de contribuir al conocimiento de su potencial geológico minero, a la valoración del patrimonio geológico, y a la posibilidad de brindar apoyo científico tecnológico a la industria minera y a la comunidad científica.