I 1789 blev bygningen indrettet som militært sygehus, og i 1846 blev den ombygget til blandt andet at huse et antal arrester i stueplan og på loftet. Desuden blev bygningen forlænget, og i den vestlige del blev der indrettet et marketenderi. Men ved etableringen af Danmarksporten blev den vestlige del nedrevet, og der blev indrettet vagtlokaler med front mod den nye port. Det er dette arbejde, som Andrés maleri af Aksel Haldrup viser. Arresterne blev benyttet helt frem til 1934, hvorefter der ikke længere blev holdt vagt ved porten.

I februar 1925 lød byggeprojektet status blandt andet:

”… Derefter paabegyndes Opstillingen af Søjler og Buer for Overgangen imod Voldgraven.” 

Den 15. april 1925 modtog arkitektfirmaet acontobegæring nummer to på 3500 kr. fra H.P. Nissen, og i en status den 29. juni 1925 fremgår det:

”Murermester Nissen meddeler i Dag, at han om faa Dage er klar til at paabegynde Pudsning af Danmarksporten. Han har afsat nogle Prøver og vil gerne, om det er belejligt for Arkitekten, bese dem snarest.”

André husker stadig en historie fra dengang, hvor hans far, Hans Peter, arbejdede med at bygge Danmarks Porten. Det var en meget tidlig sommermorgen, hvor han traf maleren Aksel Haldrup med sit staffeli.

– Det må have været ved omkring afslutningen af byggeriet, at min far møder Aksel Haldrup. Dengang startede arbejdet klokken seks om morgenen, så det var tidliget om morgenen. Det var en højsommermorgen. På det tidspunkt er Aksel Haldrup ved at pakke sit malergrej sammen, og så fortæller han til min far, at nu havde han elsket hele natten, og nu trængte han lige til at få en time ude i frisk luft. Men nu var lyset ved at ændre sig lidt, så nu pakkede han sammen. Den historie kunne min far godt lide at fortælle. Han synes, at det var interessant, at Haldrup havde siddet der og malet fra sidst på natten til først på dagen. 

Bygningen af Danmarks Porten var på sin vis startskuddet for Hans Peters egen murervirksomhed, som på et tidspunkt skulle blive en af de største murer- og entreprenørvirksomheder i Fredericia. H.P. Nissen har igennem tiden stået bag eller været involveret i en lang række markante byggerier i Fredericia.