Unmittelbarer Anlass für die Schaffung der Zentralen Stelle war der so genannte Ulmer Einsatzgruppenprozess gegen zehn ehemalige Angehörige des „Einsatzkommandos Tilsit“ - sämtliche Angeklagte waren wegen Massenerschießungen, insbesondere von Juden, im August 1958 zu langjährigen Zuchthausstrafen verurteilt worden. Im Rahmen dieses Verfahrens ergaben sich Hinweise auf weitere nicht - oder nicht ausreichend - aufgeklärte ähnliche Komplexe in den vom ehemaligen Deutschen Reich besetzten Ländern sowie auf Vernichtungsmaßnahmen in Konzentrationslagern.
Die Zuständigkeit von Staatsanwaltschaften und Strafgerichten erstreckt sich in erster Linie auf Straftaten in deren Bezirk oder dort lebende Täter. Es hatte sich mit dem Ulmer Einsatzgruppenprozess gezeigt, dass diese Zuständigkeitsordnung die nationalsozialistischen Verbrechen nicht in ihrer Komplexität erfassen konnte. Insbesondere für Massenverbrechen außerhalb des Bundesgebiets hing es bis zur Gründung der Zentralen Stelle meist vom Zufall ab, ob ein NS-Verbrechen von deutschen Justizbehörden verfolgt wurde. Es bedurfte und bedarf zur Überbrückung dieser gravierenden Lücke einer im Vorfeld der Staatsanwaltschaften tätigen Behörde, die Vorermittlungen gegen nationalsozialistische Verbrecher zusammenträgt und die staatsanwaltschaftlichen Ermittlungen vorantreibt, bündelt und unterstützt.
So begann eine systematische Verfolgung der nationalsozialistischen Verbrechen erst mit Gründung der Zentralen Stelle, die – über ihre institutionelle Bedeutung für die juristische Aufarbeitung des Nationalsozialismus hinaus – bis heute weltweit über einen guten Ruf verfügt.
