Đình Sừng nằm ở làng Quỳ Lăng xưa, nay là xã Lăng Thành, huyện Yên Thành. Đình được xây dựng vào tháng 11 năm 1583 để thờ Thành hoàng làng Cao Sơn, Cao Các.
Thần Cao Sơn, Cao Các được thờ phổ biến ở xứ Nghệ, là những vị thần có công bảo quốc hộ dân, được các triều đại phong kiến nhiều lần sắc phong. Có nhiều huyền tích, nhiều dị bản khác nhau về các vị thần này, có nơi coi là một vị thần, có nơi coi là 2 vị thần. Ở xứ Kẻ Sừng, nhân dân tin rằng Cao Sơn, tên thật là Cao Hiển, là vị quan nhà Tống, sang làm trấn thủ An Nam, hết lòng vì cuộc sống của nhân dân, sau khi ông mất, được vua nhà Tống phong là “An Nam Quốc vương”, giao cho nhân dân An Nam lập đền thờ phụng, ngài thường linh ứng, phù hộ độ trì cho nhân dân. Cao Các là người xứ Thọ Xuân, Thanh Đô (Thanh Hóa ngày nay), ông đã có công theo phò Đinh Bộ Lĩnh, giúp vua dẹp giặc, sáng lập nhà Đinh. Sau khi ông mất, triều đình cho lập miếu thờ, Vua Lý Thái Tổ ban sắc phong mỹ tự “Đại vương”.
Nguyên xưa, đình Sừng được làm bằng tranh tre, nứa lá. Đến năm 1797, nhân dân xây dựng thêm nhà hậu cung để thờ Thành hoàng làng. Ngôi đình được tu sửa nhiều lần, đến năm 1929, đình được tôn tạo lại quy mô đồ sộ với phong cách kiến trúc, mỹ thuật thời Nguyễn cực kỳ đặc sắc, ấn tượng với các hạng mục tòa bái đình, hậu cung và nhà miếu.
Trải qua bao biến cố thăng trầm, đình Sừng vẫn giữ được vẻ đẹp nguyên sơ, gắn liền với những chứng tích lịch sử của đất và người Quỳ Lăng. Trong những năm 1930 - 1931, đình là địa điểm hội họp bí mật của Chi bộ Đảng Quỳ Lăng. Trong khoảng thời gian 1932 – 1933, thực dân Pháp đã lấy đình Sừng làm nơi đóng đồn, tại đây chúng đã giam cầm, tra tấn các cán bộ, đảng viên. Ngày 28 tháng 5 năm 1945, đây là nơi tập trung quần chúng nhân dân đứng lên khởi nghĩa cướp chính quyền, sau đó, đình trở thành trụ sở làm việc đầu tiên của Ủy ban lâm thời xã Quỳ Lăng, là địa điểm tổ chức các cuộc vận động lớn như: tuần lễ vàng, tuần lễ vũ khí, công phiếu quốc gia, công phiếu kháng chiến,… Ngày nay, đình là trung tâm diễn ra nhiều hoạt động mang đậm bản sắc văn hóa địa phương như: văn hóa tế thần, rước kiệu, hát ả đào, ca trù, hát chèo, tuồng, vật cù,… là nơi tổ chức hội họp của các tổ chức, đoàn thể. 
Với những giá trị lịch sử, văn hóa, thẩm mỹ tiêu biểu, đình Sừng được Bộ Văn hóa – Thông tin (nay là Bộ Văn hóa – Thể thao và Du lịch) công nhận Di tích Lịch sử và kiến trúc nghệ thuật cấp Quốc gia vào ngày 29 tháng 10 năm 2004.