Sandbjerg Slot kan spores tilbage til 1500-tallet. Omkring år 1500 nævnes Sandbjerggaard første gang, og i 1564 overdrog Kong Frederik II en trediedel af den kongelige del af hertugdømmerne til sin bror Hertug Hans den Yngre (1545-1622), der således kom i besiddelse af Ærø, Als og Sundeved i hertugdømmet Slesvig.

Hertugen lod bygge den dæmning ud mod Alssund, som endnu findes. Herved blev en vig af sundet omdannet til Møllesøen. Hans vandmølle, hvis rester endnu kan ses, var i drift, til den brændte i 1916.

Ved Hertug Hans' død i 1622 tilfaldt Sandbjerg hans efterkommere af den sønderborgske linie. Da en af disse, Hertug Christian Adolf, i 1667 gik konkurs, overgik Sandbjerg til kronen. Godset blev få år efter, i 1673, solgt til amtmand – senere storkansler – Conrad Reventlow (1644-1708) i Haderslev. Han fik kongens tilladelse til at oprette et len af Sandbjerg og sine øvrige besiddelser i Sundeved, grevskabet Reventlow-Sandbjerg. Hertug Hans' Sandbjerg lå, hvor Sandbjerggaard nu ligger – på den anden side af Møllesøen. I 1788 lod Conrad Georg Reventlow opføre et palæ på pynten ud til Alssund. Bygmester var Christian August Bohlsmann fra Sønderborg. Forpagterboligen, der opførtes i 1783, indgår sammen med Palæet, de øvrige økonomibygninger og parken i et samlet anlæg mellem Møllesøen og Alssund – det nuværende Sandbjerg Gods.

Slægten Reventlow ejede Sandbjerg helt frem til 1930.

1787-88 gennemførte Conrad Georg Reventlow Sandbjerggårds udparcellering, hvorved 300 tdr. af hovmarken blev solgt til bønderne i 14 parceller. Husmændene fik godt 100 tdr., og resten, ca. 186 tdr.. Skovene og Møllesøen blev liggende som stamparcel under hovedgården. Den nuværende hovedbygning, Palæet, er opført fra 1787 til 1788 efter tegninger af Christian August Bohlsmann og fredet.

I årene fra 1864 til 1920 førte stedet en ret omskiftelig tilværelse som højskole, husholdningsskole og hestestutteri.
Ved lensafløsningen i 1924 overgik Sandbjerg til fri ejendom, og efter Christian-Einar Reventlows død i 1929 blev Sandbjerg solgt til den københavnske overretssagfører Knud Dahl og hans hustru, Ellen Dahl, født Dinesen. Ellen Dahls søster var Karen Blixen. Efter Knud Dahls død åbnede hun Sandbjerg for kulturpersonligheder og videnskabsmænd, og i 1954 skænkede hun godset til Aarhus Universitet. Ved hendes død i 1959 overtog universitetet den fulde dispositionsret over Sandbjerg Gods.

Opsat i muren på Kalundborg Kirkegård