Le colombier signe extérieur de richesse en Normandie .. L’intérieur du colombier, espace imparti aux pigeons, est divisé en nichoirs appelés boulins. Chaque boulin est le logement d’un couple de pigeons. Ces boulins peuvent être en pierre, brique ou torchis et installés lors de la construction du colombier ou être en poterie (pots couchés, tuiles canal, diverses cases), en osier tressé en forme de panier ou de nid. C’est le nombre de boulins qui indique la capacité du pigeonnier. Celui du château d'Aulnay avec ses 2000 boulins et celui de Port-d'Envaux avec ses 2400 boulins de terre cuite sont parmi les plus vastes. Au Moyen Âge, la possession d’un colombier à pied, construction séparée du corps de logis (ayant des boulins de haut en bas), était un privilège du seigneur haut justicier. Pour les autres constructions, le droit de colombier variait suivant les provinces. Elles devaient être en proportion de l’importance de la propriété, placées en étage au-dessus d’un poulailler, d’un chenil, d’un four à pain, d’un cellier… Généralement les volières intégrées à une étable, une grange ou un hangar, étaient permises à tout propriétaire d’au moins 50 arpents (environ 2,5 hectares) de terres labourables, qu’il soit noble ou non, pour une capacité ne devant pas dépasser suivant les cas 60 à 120 boulins.
À Mons, au château d'Esclapon-Bas, carreaux vernissés protégeant l'entrée du pigeonnier contre les rongeursProduisant un excellent engrais (la colombine), les pigeons étaient vus comme une catastrophe par les cultivateurs, en particulier au moment des semailles. Il était donc nécessaires d'enfermer les pigeons dans le colombier lors des semis agricoles, en obstruant les ouvertures du colombier. Dans les anciennes provinces de Droit coutumier où posséder un colombier était un privilège réservé à la noblesse et au clergé (Normandie, Bretagne, etc.), les cahiers de doléances en demandèrent très fréquemment la suppression, ce qui sera entériné lors de la nuit du 4 août 1789.
Le pigeonnier devint, après la Révolution la partie emblématique de l'habitat paysan puisque sa construction signifiait la fin des droits seigneuriaux, celui-ci étant jusqu'alors réservé aux seules maisons nobles. Il était soit directement accolé à la maison soit indépendant d'elle. Toujours de dimension considérable, puisqu'il était censé ennoblir l'habitat, il s'élevait sur deux étages, le dernier étant seul réservé aux pigeons. Pour protéger ceux-ci d'une invasion de rongeurs, son accès était toujours protégé par un revêtement de carreaux vernissés qui les empêchait d'accéder à l'intérieur. De nos jours, des pigeonniers modernes sont installés dans les espaces verts des villes pour éviter les nidifications sur les fenêtres et les abords d'immeubles. Munis de casiers supports des nids qui sont numérotés pour le suivi des pontes et de perchoirs indépendants, ils servent ainsi à lutter contre le bruit, les fientes ou la déterioration des plantes florales. Des « pigeonniers contraceptifs » ont été créés en 1990 par la Société Protectrice des Oiseaux de Ville : la stérilisation manuelle des œufs évite la prolifération des pigeons.