Ban đầu, chùa được dựng bằng tre lá. Năm 1497, chùa được xây dựng lại bằng gạch ngói. Ở thời kỳ này, các hạng mục kiến trúc của chùa gồm tam quan, thiêu hương, thượng điện kết nối với nhau theo lối kiến trúc kiểu chữ “đinh”. Thông tin về việc xây dựng chùa được ghi lại trên văn bia soạn năm Hồng Đức thứ 28 (1497) hiện còn được lưu giữ trong chùa.
Trải qua nhiều lần trùng tu, quy mô chùa Nga My ngày càng được mở rộng và có kiến trúc như hiện nay, theo kiểu “nội công ngoại quốc”. Tam quan chùa mang phong cách kiến trúc thời Nguyễn, với gác chuông hai tầng tám mái, có cầu thang dẫn lên. Ở đỉnh của các trụ biểu có đắp những đôi phượng chụm đuôi để mộc, không sơn vẽ. Đặc biệt là phần chân đế trụ xây cao ngang đầu người, một kiểu kiến trúc hiếm gặp.
Đi qua cánh cổng gỗ dày là một sân gạch với tòa phương đình được sử dụng làm nhà bia. Tiền đường gồm 5 gian 2 chái, tường hồi bít đốc, mái lợp ngói mũi hài; bờ nóc, bờ dải đắp gạch gốm hình hoa chanh. Nền nhà cao hơn mặt sân 1,2m, có hàng hiên rộng, phía trước là cửa bức bàn. Gian giữa phía sau nối với thượng điện là tòa nhà dọc gồm bốn gian, có tường bao khép kín. Sau lưng thượng điện là một lầu chuông được xây theo kiểu phương đình gồm 2 tầng 8 mái. Bốn góc là các đầu đao trên đắp nổi hình đầu rồng, 4 đầu đao dưới trang trí hoa văn thực vật. Phần cổ diêm giữa hai mái có hàng chấn song con tiện được dùng để lấy ánh sáng vào bên trong.
Trong chùa Hoàng Mai hiện còn lưu giữ hệ thống tượng Phật được tạo tác từ thời hậu Lê và đầu triều Nguyễn (đầu thế kỷ XIX), cùng pho tượng A Di Đà mang phong cách nghệ thuật thế kỷ XVII - XVIII, pho tượng Tam thế Phật đầu thế kỷ XVIII. Đáng chú ý hơn cả là pho tượng Quan Âm nghìn tay nghìn mắt và phần bệ đài sen được tạo tác vào thế kỷ XVII có giá trị cao về mặt mỹ thuật.
Năm 1994, chùa Hoàng Mai đã được xếp hạng Di tích lịch sử, kiến trúc cấp quốc gia.
.jpg "Danh nhân Phạm Thận Duật và quê hương Yên Mạc")
