Die Entstehung der Ortsteile Sulz und Rehgraben fällt ungefähr in dieselbe Zeit. Aus der Frühgeschichte sind uns mehrere Tondüsenstücke erhalten geblieben, die vermutlich aus dem 1. Jahrtausend v. Chr. stammen. Diese Fundstücke lassen uns mit großer Wahrscheinlichkeit darauf schließen, daß in der Gegend von Rehgraben in der Vorzeit Eisen geschmolzen wurde.

Aus der anschließenden Zeit der Römerherrschaft fehlen Fundgegenstände als auch schriftliche Unterlagen vollkommen. Die erste urkundliche Erwähnung der Gegend finden wir im Jahr 1537.

Darin sind die Grenzen des dem Güssinger Kloster gestifteten Gutes bezeichnet. Unter anderem ist in diesem Dokument von „fluvius zek“ die Rede, dem ungarischen Namen für den Zickenbach sowie von den zwei Wildbächen Zurnu und Brz. „Zurnu“ leitet sich vom slawischen „Serni (ptok)“ her, das Rehgraben heißt. Davon ausgehend dürfte der Name Rekram und in späterer Folge Rehgraben entstanden sein. Wie auch in Sulz wurden in Rehgraben von Franz Batthyány kroatische Flüchtlinge angesiedelt. Dadurch wurde erst aus einem Geländeteil von Gerersdorf die Besiedelung von Rehgraben begründet. Sehr wahrscheinlich ist, daß diese Gründung in den Jahren 1535 bis 1545 erfolgte. Den damaligen Siedlern war eine Abgabenfreiheit von 12 Jahren eingeräumt. Dadurch sollte ihnen die Möglichkeit gegeben werden, etwa eine Session Grund während dieser Zeit urbar zu machen und ein Haus aufzubauen. Da wir erst 100 Jahre später vom Ort und der damaligen Bevölkerung von einer Adels- und 15 Untertanenfamilien erfahren, dürfte es sich bei den Begründern nur um einige wenige gehandelt haben. Bei den genannten Untertanen handelte es sich um kroatische und ungarische Familien. Nach 1720 tauchen dann auch deutsche Namen wie Neubauer, Seier oder Jost auf. Bis ins 18. Jhdt. bezeichnete man Rehgraben in Anlehnung an das Kroatische als Psästya, spätere Namen waren Prasca; Prasche und Praschevo, was übersetzt soviel wie Wildschweine heißt. Daraus ist zu schließen, daß die ersten Siedler im Ort nicht - wie vermutet werden könnte – auf Rehe, sondern vielmehr auf Wildschweinbestände stießen und nach diesen den Ort bezeichneten. Die Ungarn des 19. Jhdts. übersetzten dann den Namen mit Özgödör. Im Jahr 1896 umfaßte der Ort Rehgraben bereits 85 Häuser und 541 Einwohner. Damit erreichte die Gemeinde einstweilig ihren Höchststand in der Bevölkerung. Verschiedene Faktoren wie etwa die erwähnte hohe Bevölkerungszahl und schlechte Erwerbsgrundlagen aufgrund der durch Erbteilung entstandenen Kleinsthöfe führten um das Jahr 1900 zu einem starken Bevölkerungsrückgang, an dem die Amerikawanderungen ganz wesentlichen Anteil hatten.

Um die Jahrhundertwende und auch noch zu Beginn unseres Jahrhunderts war die kroatische Sprache zweite Unterrichtssprache. In den letzten Jahrzehnten nahm das Deutsche jedoch immer mehr zu, bis das Kroatische schließlich ganz verschwand. Heute sind im Bereich Rehgraben – wenn überhaupt – nur noch einige ältere Bewohner der kroatischen Sprache mächtig. Im Ersten Weltkrieg hatte der Ort sechs Gefallene zu beklagen. Trotz der schwierigen wirtschaftlichen Lage wurden Aufbauleistungen erbracht. 1923 erfolgte die offizielle Gründung einer Ortsfeuerwehr, obwohl schon um 1890 eine solche bestanden haben muß, da noch heute eine Handdruckspritze aus dem Jahre 1897 vorhanden ist. Die Anschaffung der ersten Motorspritze erfolgte bereits 1930. Anstelle eines Glockenturmes wurde 1925 die heutige Filialkirche, 1926 der Bau des Feuerwehrrequisitenhauses und in den Jahren 1935 bis 1938 eine einklassige Volksschule errichtet. Etwa ab 1930 hat ein Ziegelwerk den Betrieb aufgenommen. Vor dem Zweiten Weltkrieg erfolgte der Betrieb händisch, nach 1945 bis zur Stillegung im Jahre 1964 maschinell. Auch eine Mühle mit Sägewerk war von 1934 bis 1956 am Zickenbach im Betrieb. Der Antrieb erfolgte bis 1947 mit Wasserkraft, anschließend mit Strom. Die Elektrifizierung des Ortes geschah 1938-1944. Der Zweite Weltkrieg forderte weit mehr Opfer als der Erste. So mußten 32 Männer des Ortes ihr Leben lassen.

Zwischen 1955 und 1960 gab es in Rehgraben einen gemischten Chor sowie eine Volkstanzgruppe. Lieder und Tänze wurden auch in Orten der näheren Umgebung vorgetragen. Ein Harmonium, das aus Spenden von Amerikaauswanderungen angekauft wurde, zeugt noch von dieser Zeit. 1959 erfolgte die Errichtung der Wasserleitung in den Bergen, 1961/1962 im Dorf. Auch der Ausbau des Güterwegenetzes wurde in Angriff genommen. Am 1. Jänner 1971 erfolgte die Zusammenlegung der Gemeinden Gerersdorf, Sulz und Rehgraben zur Gemeinde Gerersdorf-Sulz. Der Ausbau des Wegenetzes und der Straßenbeleuchtung wurde fortgesetzt, in allen Ortsteilen errichtete man Aufbewahrungshallen und die Kanalisierung wurde in Angriff genommen. In Gerersdorf wurde eine neue Volksschule gebaut und die ehemalige Volksschule Sulz als Kindergarten adaptiert. Die drei Feuerwehren wurden mit Einsatzfahrzeugen ausgestattet; die Ortsfeuerwehr Sulz erhielt 1988 ein neues Feuerwehrhaus. Die ehemalige Volksschule Rehgraben wird als „Dorfzentrum“ umgebaut und findet durch die Errichtung eines Garagenzubaues auch als Feuerwehrhaus Verwendung. Auch im Ortsteil Gerersdorf ist der Rohbau eines Feuerwehrhauses bereits fertiggestellt.