Đôi rồng đá nạm ngọc và chiếc lư hương bị đánh cắp nhiều năm. Trước khi lâm chung, người sở hữu 2 cổ vật này dặn con cháu mang trả cho gia đình cụ Nguyễn Khuyến.

Trong nhà cổ ở làng Vị Hạ (Trung Lương, Bình Lục, Hà Nam) của Tam Nguyên Yên Đổ Nguyễn Khuyến còn lưu giữ nhiều cổ vật quý giá.

Ngôi làng nọ có cái đình hay bị cháy, vậy mà cụ Nguyễn Khuyến chỉ cho một chữ dán trước cửa đình là từ đấy thần hỏa không dám tác oai nữa.