Bygmesteren C.A. Bohlsmann, der kendes fra Augustenborg Slot og Palæet Sandbjerg, har sandsynligvis medvirket ved opførelsen af hovedbygningen, der står så godt som uændret. I det 15. århundrede regnedes Ballegård for at være den ældste og fornemste herregård i Ullerup Sogn og gården havde dermed ret til det første sæde i Ullerup Kirke. Omkring år 1490 ejedes gården af Godske Holck af den gamle sønderjyske adelsslægt, som i sit våben førte en mursparre, bestående af syv røde sten i et hvidt felt, med syv røde og hvide faner på hjelmen. Godske Holk på Ballegård var gift med Anna Pogvisk til Holbæk i Adsbøl Sogn. Han efterlod sig tre sønner. Hartvig havde Ballegård, Bertel, Rønhave ved Sønderborg, og Vulf, Melsgård ved Nørborg. Efter Hartvig som nævnes 1507, nævnes i 1534 atter en Godske Holck. Med Godske Holck uddøde omkring 1560 den mandlige linje på Ballegård og denne ejendom gik i arv til hans søstersøn Iver Eriksen, af slægten Rosenkrantz, til Kogsbøl Ladegård ved Tønder. fra hvem den atter kort efter kom til Godskes søskendebarn Henrik Holck (Bertelsen) til Rønhave. Henrik Holck døde 1579 og efterlod fire sønner, af hvilke Anders arvede Ballegård. Omkring 1589 solgte Anders Holck til den rige Hans Blome, der senere solgte Ballegård videre til hertug Hans den Yngre.

I året 1622 døde hertug Hans den Yngre og efterlod sig fem sønner som regerende hertuger i hver sin del af hans hertugdømme. Medens de to, henholdsvis på Ærø og i Pløn, ikke vedkommer Sundeved, fik de tre andre hver sin del af dette lille land; Sandbjerg, ved Øster Sottrup, kom til at høre til Sønderborg, Ballegård til Nørborg (Nordborg) og Lundsgård (ved Vester Sottrup) til Lyksborg i Angel.

Ved kongelig og hertugelig dom af 13. december 1667 var Ballegård og Melsgård fradømte hertugen af Nørborg for gæld, og ved prioritetsdom af 11. august 1669 fik Henrik Blome fra Holsten udlæg i Ballegård for et tilgodehavende af 20,245 rigsdaler. Han solgte den året efter til statholderen grev Fredrik Ahlefeldt til Gråsten, hvis slægt nu ejede Ballegård i 55 år. Ved Carl Ahlefeldts konkurs og godsernes salg, 5. september 1725, blev Ballegård derfor opråbt under ét med Bøgskov og Skovbølgård; de blev købte af overinspektør Nikolaj Paulsen, for ialt 42.000 rigsdaler.

1797 blev Ballegård udstykket. Gården blev efter Nikolaj Paulsens død arvet af hans søn Hans og dennes søn kancelliråd Henning Paulsen, fra hvis umyndige børn den gik i Greve Conrad Georg Reventlows eje. Han lod gården udstykke i lighed med domænerne, og kun en stamgård af et par bols størrelse minder nu om det gamle herresæde.