Va ser construït pels Gualba, Barons de Montnegre, en substitució del Castell que havien tingut a Sant Martí de Montnegre, a dalt de la muntanya. Durant el segle XV les revoltes dels pagesos, més conegudes com guerres de remences, van deixar el castell inservible. Els Gualba abandonaren la idea de reconstruir-lo, ja que estava lluny i era de difícil accés. Van preferir potenciar l'indret de la Batllòria i el camí ral que hi passava. Per això hi van edificar el seu nou casal.

El casal, juntament amb el Ribot i la capella de la Mare de Déu de l'Esperança, va ser la llavor del que coneixem com La Batllòria. Amb el casal, la Batllòria es va convertir, a començament del segle XVI, en el centre administratiu del terme del castell de Montnegre.

El gran i ambiciós edifici, amb aires de palau, es va bastir entre finals del segle XV i el segle XVI. Era un edifici rectangular de planta baixa i dos pisos, que ocupa tota una illa de cases. Al mig de l'edifici hi havia un gran pati central. El portal d'entrada principal, amb arc de mig punt adovellat és al carrer de Riells. A la resta de façanes hi ha belles finestres conopials de granit, decorades amb cares humanes i lòbuls. Destaquen les que presenten caps alats o animals fabulosos, amb cap humà i cos d'au, que sostenen escuts.

Avui en dia, a Can Bruguera -la part principal de les diverses en què s'ha anat dividint el Casal al llarg dels segles- s'hi troba l'Observatori de la Tordera, un projecte impulsat per l'ajuntament de Sant Celoni en conveni amb l'Institut de Ciència i Tecnologia Ambientals (ICTA) de la Universitat Autònoma de Barcelona i l'Agència Catalana de l'Aigua que s'encarrega de fer el seguiment continuat dels indicadors socioecològics a la conca de la Tordera.