Na místě zámku stál ve středověku hrad nebo tvrz, ale skrovné zbytky gotických konstrukcí a fakt, že tu nebylo nikdy archeologicky zkoumáno, o rozloze a významu tohoto panského sídla mnoho neřeknou.

Od roku 1678, kdy panství Bělá zakoupil Arnošt Josef z Valdštejna, je zámek v majetku tohoto rodu až do roku 1945.

Na samotné stavbě udiví, s jakou lehkostí a harmonií se doplňují jednotlivé stavební slohy od renesance po baroko. Poslední větší přestavba byla ukončena v roce 1693. Zámek se nestal jen panským sídlem, ale s přestávkami tu byla umístěna také dětská manufaktura, lesnická škola, vrchní lesní úřad pro valdštejnská panství a byty úředníků.

Od roku 1940 tu nalezlo útočiště Muzeum soudního okresu Bělského, dnes Muzeum Mladoboleslavska – pobočka Bělá pod Bezdězem. Po roce 1945 zámek kromě prostor muzea slouží i k bydlení.

Od roku 2005 tu probíhají větší stavební rekonstrukce a klíčí snaha o oživení této kulturní památky, která je v majetku obce.