Theo các nhà nghiên cứu, voi chiến được sử dụng đầu tiên ở Ấn Độ. Vào thời kỳ cổ đại, văn minh Ấn Độ đề cao giá trị của loài voi trong chiến tranh. Họ ví rằng "Quân đội mà không có tượng binh thật đáng coi thường, khác gì rừng không có sư tử, nước không có vua, hay lòng can đảm mà đánh bằng tay không".
Từ Ấn Độ, phép dùng voi chiến lan sang vùng Đông Nam Á, khu vực Trung Đông tới tận Địa Trung Hải. Các hoạt động thương mại khiến voi chiến hiện diện ở nhiều khu vực cách xa nơi phân bố trong tự nhiên của loài voi.
Voi chiến được sử dụng ban đầu là voi châu Á, khi sang vùng Địa Trung Hải có thêm nguồn voi mới từ châu Phi. Những đế chế có đội voi châu Á hùng mạnh là Ba Tư và Ấn Độ, trong khi Ai Cập và Carthage sử dụng voi châu Phi.
Thời hoàng kim của voi chiến là thời cổ đại, khi chúng được sử dụng rộng rãi từ Đông sang Tây. Nhiều trận đánh nổi tiếng trong thời kỳ này có sự tham gia của voi chiến.
Tiêu biểu có thể kể đến là trận sông Hydaspes (326 TCN) giữa Alexander Đại đế với người Ấn Độ, hai cuộc chiến tranh Punic giữa La Mã và người Carthage (264-241 TCN và 218-201 TCN).
Bước sang thời Trung cổ, việc sử dụng voi chiến ở phương Tây suy giảm do sự thay đổi về tư duy chiến tranh và vũ khí cũng như nguồn voi địa phương trở nên khan hiếm. Trong khi đó ở phương Đông voi chiến vẫn được sử dụng phổ biến ở nhiều quốc gia, trong đó có Việt Nam.
Trong suốt lịch sử Việt Nam, voi chiến được xem là một lực lượng đặc biệt sử dụng trong chiến trận. Do thế phòng thủ trước các triều đại phương Bắc, vốn không có voi chiến, thì ưu thế của phía Việt Nam về lực lượng voi chiến là rõ rệt.
Voi chiến đã có vai trò lớn trong nhiều cuộc chiến chống ngoại xâm của người Việt, tiêu biểu là các cuộc khởi nghĩa của Hai Bà Trưng, Bà Triệu, khởi nghĩa Lam Sơn, cuộc chiến chống quân Thanh. Trong chiến dịch đánh thành Ngọc Hồi, quân Tây Sơn đã đặt đại bác lên lưng voi làm quân Mãn Thanh phải khiếp sợ.
Đến thế kỷ 19, khi súng máy xuất hiện thì voi chiến bị vô hiệu hóa và biến mất dần khỏi chiến tuyến. Loài voi từ đó chủ yếu chỉ dùng làm phương tiện chuyên chở, kéo gỗ v..v. Trong cuộc kháng chiến chống Mỹ của người Việt, voi vẫn được sử dụng như một phương tiện vận chuyển hữu dụng ở đường Trường Sơn…