Chùa được Luật Truyền Hòa thượng, một nhà sư theo dòng Lâm Tế thiền tông sáng lập vào năm 1797. Chùa có tên chữ là Từ Quang, nhưng do nằm trên một ngọn núi nhiều đá trắng nên còn được gọi là chùa Bạch Thạch hay chùa Đá Trắng.
Vào thời nhà Nguyễn, chùa Đá Trắng là ngôi chùa lớn bậc nhất Phú Yên. Vào thời vua Thành Thái, chùa được vua ban sắc tứ.
Kể từ khi được xây dựng đến nay, chùa đã trải qua nhiều lần trùng tu. Cổng chùa là công trình có từ thời nhà Nguyễn, có kiến trúc khá độc đáo vì không phải là dạng tam quan như đa phần các ngôi chùa Việt khác.
Chính điện của chùa có ba gian hai chái, nằm trên nền cao khoảng một mét, có bốn lối dẫn lên, hai lối phía trước và hai lối hai bên.
Không gian trong chính điện được bài trí giản dị và tôn nghiêm với hình tượng Đức Phật ở trung tâm.
Trong chùa có đại hồng chung nặng 330 cân ta, do Hòa thượng Pháp Ngữ đặt làm vào năm Duy Tân thứ 9 (1916) và nhiều tượng Phật cổ hàng trăm năm tuổi.
Khu mộ tháp của chùa Đá Trắng có nhiều ngôi mộ cổ tuổi đời hàng thế kỷ. Các công trình này được trang trí hoa văn, phù điêu và tượng thú khá đa dạng và tinh xảo.
Một yếu tố quan trọng làm nên danh tiếng của chùa Đá Trắng là vườn xoài đặc sản bao quanh chùa, đã đi vào thơ ca Phú Yên như là một sản phẩm đặc trưng của mảnh đất này: “Xoài Đá Trắng, Sắn phường Lụa”.
Dưới thời nhà Nguyễn, hàng năm đến vụ xoài nhà chùa lại thu hoạch chuyển về kinh dâng Vua, nên xoài Đá Trắng còn có tên là “xoài ngự” “xoài tiến vua” và được phong danh hiệu là “Bạch Thạch Yêm Ba”. Ngày nay, quần thể xoài này đã được công nhận là cây Di sản Việt Nam.
Một nét độc đáo khác của chùa Đà Trắng là quanh chùa được bao bọc bằng những bức tường đá cổ xưa được sắp xếp rất khéo léo từ những phiến đá được khai thác trên núi.
Trong giai đoạn thực dân Pháp xâm lược nước ta, chùa Đá Trắng từng trở thành pháo đài của nghĩa quân phong trào Cần Vương. Các nhà sư trong chùa khi đó đã cầm vũ khí cùng nhân dân đứng lên đánh Pháp.
Ngày nay, chùa được coi là một danh thắng của đất Phú Yên. Vào ngày 11 tháng Giêng hàng năm, nhân dân khắp các nơi lại nô nức về dự hội chùa.
Vào năm 1997, chùa Đá Trắng đã được công nhận là Di tích lịch sử – văn hoá cấp Quốc gia của Việt Nam.