Die geschichtliche Entwicklung des Öjendorfer Friedhofs ist mit der des Ohlsdorfer Friedhofs eng verbunden. Als dieser knapp 50 Jahre bestand, wurden die ersten Überlegungen angestellt, ob seine Kapazitäten angesichts der wachsenden Bevölkerungszahlen der Hansestadt auf lange Sicht ausreichen würden. Denn Berechnungen aus dem Jahr 1929 zeigten auf, dass jeweils 1933 und 1943 Friedhofsflächen von jeweils 150 ha erforderlich sein würden.
Nachdem die zwei Möglichkeiten, erstens den Ohlsdorfer Friedhof zu vergrößern und zweitens dessen Fläche besser zu nutzen, ausgeschöpft waren, lag die dritte Lösung nahe: die Einrichtung eines neuen Friedhofs. Man begann mit der Suche nach geeigneten Flächen im Osten des Stadtgebietes.
Noch im gleichen Jahr wurde in Öjendorf, das damals noch zu Preußen gehörte, ein Gelände beiderseits des Schleemer Baches besichtigt, aber z. T. als ungeeignet angesehen. Große Bereiche waren mehrere Meter tief abgetragen worden, konnten daher nicht entwässert werden und waren nicht mehr mit Mutterboden bedeckt. Der damalige Baudirektor Otto Linne vertrat jedoch die Auffassung, dass nur die nichtabgetragenen Flächen für eine Friedhofsnutzung in Frage kämen. Gegen die Bedenken des Baudirektors erwarb die Stadt dennoch für 2,2 Millionen Reichsmark eine Fläche von insgesamt 317 ha.
Bevor die eigentlichen Herrichtungsarbeiten für den Friedhof beginnen konnten, waren umfangreiche Vorarbeiten notwendig: die Regulierung des Schleemer Baches, Böschungsprofilierungen an der vormals abgegrabenen Fläche und die Anlage einer vorläufigen, 11 ha großen Baumschule im Norden des Geländes. So konnte Anfang des Jahres 1933 mit diesen Vorarbeiten begonnen werden, die Herrichtung der Belegungsflächen begann Ende 1934.
Zur gleichen Zeit begann der Bau der Autobahn Hamburg - Lübeck, die das Baumschulengelände durchschnitt. Dies führte in den kommenden Jahren immer wieder seitens der obersten Bauleitung zu Beschwerden, da wiederholt Friedhofsarbeiter ”bäumchentragend” die Fahrbahn überquerten.