Ngược dòng lịch sử, trên hòn đảo Ngọc vào thời Lý đã có một ngôi đền có tên là Ngọc Tượng, đến thời Trần đổi tên là Ngọc Sơn. Trải qua thăng trầm lịch sử, đền đã nhiều lần sụp đổ và được xây dựng lại.
Năm Tự Đức thứ 18 (1865), nhà nho Nguyễn Văn Siêu đứng ra tu sửa lại đền. Diện mạo đền Ngọc Sơn ngày nay về cơ bản vẫn được giữ nguyên từ đợt trùng tu của Nguyễn Văn Siêu.
Về tổng quan, ngôi đền là một quần thể kiến trúc gồm nhiều lớp kéo dài từ bờ hồ Hoàn Kiếm ra đảo Ngọc, hòa quyện với không gian cây xanh và kiến trúc của hồ Gươm.
Lớp kiến trúc đầu tiên là cổng Nghi Môn, được dựng với bốn cây cột xây bằng gạch và hai mảng tường lửng. Ở mỗi cột đều có đắp câu đối chữ Nho. Hai mảng tường ở hai bên có hai chữ Phúc, Lộc cỡ lớn, tô son như lời chúc mọi sự tốt lành.
Phía sau Nghi Môn, nằm phía bên phải là Tháp Bút, tòa tháp bằng đá cao 9 mét được dựng vào năm 1864 trên núi Độc Tôn. Đỉnh tháp hình ngọn bút lông dựng ngược, thân tháp có khắc ba chữ "Tả Thanh Thiên" (viết lên trời xanh), thể hiện chí khí của các bậc nho sĩ đương thời.
Từ Nghi Môn bước tiếp vào sẽ đến cổng thứ hai. Cổng nay có hai bên trụ xây hai cửa nách giả kiểu hai tầng tám mái cong, mặt trước đắp nổi một bên là hình rồng với hai chữ Long Môn và một bên là hổ trắng với hai chữ Hổ Bảng.
Cánh cổng tiếp theo là Đài Nghiên, có dạng tam quan với ba vòm cửa cuốn. Đỉnh Đài Nghiên đặt một cái nghiên mực bằng đá. Tương truyền, vào một số thời khắc nhất định, bóng của đỉnh tháp bút sẽ “chấm” vào lòng nghiên mực trên Đài Nghiên.
Sau Đài Nghiên cầu Thê Húc, lối đi độc đạo dẫn vào đền Ngọc Sơn. Cầu có 15 nhịp, mặt cầu lát ván, thành sơn màu đỏ sẫm, chữ Thê Húc được thếp vàng. Tên cầu nghĩa là giữ lại ánh sáng đẹp của mặt trời.
Qua cầu Thê Húc sẽ đến cánh cổng mang tên Đắc Nguyệt Lâu (lầu được trăng). Cổng xây hai tầng, tầng hai có hai mái, bốn mặt có những cửa sổ hình tròn. Hai bên cổng có hai bức tranh gắn bằng mảnh sứ vỡ, bên phải là bức Long Mã Hà Đồ, bên trái là bức Thần Quy Lạc Thư.
Cận cảnh bức Thần Quy Lạc Thư.
Khu đền chính của đền Ngọc Sơn có ba nếp nhà chính, từ ngoài vào trong gồm bái đường, trung đường và hậu cung.
Bái đường là nơi hành lễ đầu tiên. Chính giữa bái đường đặt một hương án lớn, hai bên hương án có đôi chim anh vũ tức chim vẹt, xuất xứ từ giai thoại con vẹt đã giúp nghĩa quân Lam sơn tìm thấy quả chín dùng làm thực phẩm khi bị bao vây trong rừng.
Trung đường là nơi thờ Văn Xương, Quan Vũ và Lã Tổ, những vị thần học vấn được các văn nhân, quan lại, nho sĩ theo quan niệm Nho giáo tôn thờ.
Hậu cung được xây cao hơn bái đường và trung đường, là nơi thờ Trần Hưng Đạo, vị anh hùng dân tộc đã ba lần đại phá quân nguyên sang xâm lược nước ta ở thế kỉ 13. Hai bên tượng Trần Hưng Đạo là tượng Trần Liễu, cha của ông và tượng thần linh Thổ Địa.
Hai bên khu đền chính có hai gian chái, trong đó gian bên phải là nơi trưng bày hai tiêu bản rùa Hồ Gươm, sinh vật đặc biệt quý hiếm gắn liền với những giai thoại huyền bí về chuyện vua Lê Lợi trả gươm cho Rùa Thần.
Tiêu bản bên ngoài là của “cụ” rùa chết năm 1967. “Cụ” rùa này khi mới chết có cân nặng 250 kg, chiều dài 2,1 mét, rộng 1,2 mét.
Tiêu bản bên trong của “cụ” rùa chết năm 2016, dài 2,08 mét, ngang 1,08 mét, nặng 169 kg. Được xử lý theo phương pháp nhựa hóa, tiêu bản vẫn giữ được dáng vẻ tự nhiên giống như thời rùa còn đang sống.
Trong đền có một hệ thống hiện vật cổ phong phú với nhiều bia đá, chuông, khánh, tượng thờ, câu đối... có từ thời nhà Nguyễn.
Phía trước khu đền chính có Đình Trấn Ba. Tên gọi của công trình nghĩa là đình chắn sóng - ngụ ý là cột trụ đứng vững giữa làn sóng không lành mạnh trong nền văn hoá đương thời.
Đình hình vuông có tám mái, mái hai tầng có 8 cột chống đỡ, bốn cột ngoài bằng đá, bốn cột trong bằng gỗ. Các cột bên ngoài có câu đối chữ Nho.
Từ Đình Trấn Ba có thể bao quát một góc nhìn rộng với nhiều cảnh đẹp của hồ Gươm như Tháp Rùa, nhà Bưu điện bên bờ hồ.
Ngoài các công trình kiến trúc, vẻ đẹp của đền Ngọc Sơn còn được tôn lên bởi rất nhiều cây cổ thụ bao quanh khuôn viên.
Giới nghiên cứu đánh giá, đền Ngọc Sơn thực sự là một tuyệt tác kiến trúc cổ của người Việt về phương diện mỹ thuật và kiến trúc sinh thái.
Sự kết hợp giữa đền và hồ đã tạo thành một tổng thể kiến trúc Thiên - Nhân hợp nhất, tạo vẻ đẹp cổ kính, hài hoà, đăng đối cho đền, gợi nên những cảm giác chan hoà giữa con người và thiên nhiên.
Với những giá trị lịch sử, văn hóa và kiến trúc đặc biệt, đền Ngọc Sơn cùng hồ Hoàn Kiếm đã được công nhận là di tích quốc gia đặc biệt của Việt Nam vào năm 2013..