Фильм основан на одноименном романе Арчибальда Кронина. 1880 год. На окраине вымышленного маленького шотландского городка Лэвэнфорд находится странное строение, то ли коттедж, то ли замок, окруженный толстой каменной стеной. Горожане прозвали крепость «Замком Шляпника»: ее купил Джеймс Броуди (Роберт Ньютон), шляпник по профессии, жестокий, высокомерный и эгоистичный мужчина, держащий в страхе и покорности всю свою семью. Его давно болеющая жена (Беатрис Варли) и дочь Мэри (Дебора Керр) не чают в нем души. Его пятнадцатилетний сын Ангус (Энтони Бейтман), единственный, кто дорог главе семейства, страдает от его любви так же, как другие страдают от его строгости. Броуди проводит вечера с Нэнси (Энид Стемп-Тэйлор), работницей таверны. Когда внезапно объявляется бывший любовник Нэнси Дэннис (Эмлин Уильямс), она убеждает Броуди уволить своего верного ассистента Пэрри и нанять на его место Дэнниса. Броуди принимает его за сводного брата Нэнси; тот в свою очередь тайно грабит его и затем помогает его конкурентам в приобретении соседнего магазина. Между тем, Дэннис планирует жениться на Мэри, чтобы получить богатое приданое. Доктор Рэнвик (Джеймс Мейсон), наблюдающий за больной миссис Броуди, искренне любит девушку. Броуди запрещает ему появляться в доме. Мэри, которая получает свою выгоду от брака с беспринципным Дэннисом, отвечает отказом на предложение доктора. Наступающие одна за другой трагедии являются прямым результатом высокомерия, эгоизма и жестокости Броуди.