Năm 1885, vua Hàm Nghi mưu việc kháng Pháp không thành phải chạy ra Tân Sở (Quảng Trị) lẩn tránh. Phan Đình Phùng đã quên nỗi hiềm khích riêng, để cùng với Tôn Thất Thuyết chống Pháp.
Hưởng ứng dụ Cần Vương[3] của vua, dù đang cư tang mẹ, Phan Đình Phùng vẫn đứng ra chiêu tập lực lượng từ khắp các tỉnh Thanh Hóa, Nghệ An, Hà Tĩnh, Quảng Bình, để chống ngoại xâm.
Phan Đình Phùng được nhà vua phong chức tán lý quân vụ, lãnh đạo nghĩa quân xây dựng căn cứ tại hai huyện Hương Sơn, Hương Khê, thuộc Hà Tĩnh. Theo giúp sức ông có các trí thức như tiến sĩ Phan Trọng Mưu, cử nhân Phan Quảng...và nhiều võ tướng xuất thân từ nông dân và nhiều thành phần khác như Cao Thắng, Cao Nữu, Lê Ninh, Nguyễn Chanh, Nguyễn Trạch, Lê Văn Tạc, Phan Đình Phong, Phan Đình Can...
Suốt mười năm (1885-1896), bất chấp mọi hiểm nguy, gian khổ, cuộc khởi nghĩa do Phan Đình Phùng lãnh đạo đã giao chiến với Pháp nhiều trận, và đã gây cho đối phương nhiều tổn thất nặng nề, tiêu biểu nhất là trận Vụ Quang vào năm 1894.
Thấy không thể dùng sức mạnh quân sự để tiêu diệt được cuộc khởi nghĩa, người Pháp dùng mọi cách dụ dỗ, mua chuộc Phan Đình Phùng. Người Pháp còn lợi dụng các cộng sự như Lê Kinh Hạp, Phan Trọng Mưu, Võ Khoa, Hoàng Cao Khải viết thư lấy “tình xưa nghĩa cũ” để khuyên hàng, nhưng trước sau ông vẫn một lòng cự tuyệt. Người Pháp lại dùng Nguyễn Thân và những cộng sự khác ra sức đàn áp, bắt thân nhân và khai quật mồ mả tồ tiên ông, vẫn không làm ông sờn lòng.
Năm 1893, Cao Thắng tử trận khiến Phan Đình Phùng bị mất đi một cộng sự đắc lực. Năm 1895, Pháp điều Nguyễn Thân đến phối hợp với công sứ Nghệ An là Duvillier đem 3.000 lính đi đàn áp cuộc khởi nghĩa Hương Khê. Quân chủ lực của Phan Đình Phùng bị đối phương bít đường tiếp vận, nên vũ khí, lương thực, quân số thảy đều thiếu thốn, khó bù đấp. Mỗi lần đối phương tấn công, nghĩa quân chỉ có thể chạy quanh từ núi Quạt rồi trở về núi Vụ Quang, và không thể ở đâu lâu quá 3 ngày.
Ngày 17 tháng 10 năm 1894, Phan Đình Phùng đã tập hợp lực lượng, đánh thắng một trận lớn, đối phương mất nhiều vũ khí và bị giết chết rất nhiều. Ban đầu, ông cho quân lên tận nguồn sông chặt cây đóng kè chặn nước lại, đồng thời chuẩn bị sẵn nhiều khúc gỗ lớn. Khi quân Pháp và quân triều thân Pháp đến giữa dòng sông, thì ông cho phá kè trên nguồn, và tuôn cây xuống. Đối phương phần bị nước cuốn, phần bị cây lao vào người, lại bị nghĩa quân ở hai bên bờ xông ra đánh nên bị thương vong rất nhiều. Theo Phạm Văn Sơn thì sau trận này, phía Pháp ngoài số quân trang và đạn dược bị mất mát, còn có ba sĩ quan và trên trăm lính bị tiêu diệt.
Đây là trận thắng cuối cùng, vì gần 3.000 quân do Nguyễn Thân cầm đầu ngày càng xiết chặt vòng vây. Trong một trận giao tranh ác liệt, Phan Đình Phùng bị thương nặng, rồi hy sinh vào ngày 28 tháng 12 năm 1895.
Mười hai ngày sau khi thủ lĩnh Phan Đình Phùng mất, Nguyễn Thân mới tới được núi Vụ Quang và núi Quạt. Sau đó, Nguyễn Thân cho quật mồ Phan Đình Phùng ở chân núi Quạt, đổ dầu đốt cho xương thịt ông cháy thành tro, rồi trộn vào thuốc súng bắn xuống sông La.
Sang đầu năm 1896, một số chỉ huy lần lượt mất vì ở lâu nơi rừng sâu nước độc, một số bị tử trận hoặc bị bắt[7], một số khác thì rút qua Xiêm La[8] hoặc ra hàng...Cuộc khởi nghĩa Hương Khê mà Phan Đình Phùng cùng các cộng sự đã dày công xây dựng đến đây là kết thúc.
