Hiện nay, ông Phạm Ngọc Tùng là cháu đời thứ 7 của dòng họ Phạm đang ở trong ngôi nhà này. Theo ông Tùng, khi xây dựng ngôi nhà, cụ tổ làm quan hàng bát phẩm dưới triều Nguyễn, đã mời những thợ mộc giỏi của tỉnh Nam Hà (nay là tỉnh Hà Nam) và thợ mộc làng Đạt Tài (xã Hoằng Đạt, huyện Hoằng Hóa) về thi công. Ngôi nhà được khởi công từ cuối năm 1810.

Nhà có 7 gian bằng gỗ, rộng 7 m, dài 20 m, nằm hướng Nam chếch Đông. 3 gian giữa dùng để thờ tổ tiên và tiếp khách. Hai bên hai buồng, mỗi buồng 2 gian được xây dựng theo lối lộn thềm, cửa bức bàn, vật liệu gồm nhiều loại gỗ quý, chủ lực là sến, táu, lát. Kiến trúc ngôi nhà theo kiểu chồng rường kẻ chuyền và chồng rường kẻ bảy, các chi tiết được liên kết chặt chẽ theo mộng, mẹo, khi gặp sự cố có thể dễ dàng bỏ phần khung để phục dựng, duy tu. Ngôi nhà có chín mắt cửa. Trên mỗi mắt cửa đều có hoa văn và bố trí không đều nhau. Theo chủ nhân ngôi nhà, các mắt cửa được tính toán chính xác để đón khí cho ngôi nhà.