Hoàng Kế Viêm tên thật là Hoàng Tá Viêm người làng Văn La, tổng Văn Đại, huyện Quảng Ninh, tỉnh Quảng Bình. Ông là con của Hoàng Kim Xán, Bố chính tỉnh Khánh Hòa. Sau khi Hoàng Kế Viêm thi đỗ cử nhân vào năm 1843 thời vua Minh Mạng, ông được bổ Tư vụ, hàm Quang lộc tự khanh.
Ông kết duyên với con gái thứ năm của vua Minh Mạng là Hương La Công chúa Quang Tĩnh, nhưng chẳng bao lâu thì vợ mất.
Năm cuối thập niên 1860, dư đảng của Thái Bình Thiên quốc là Ngô Côn chạy tràn sang miền Bắc Việt Nam. Đến khi đảng cướp người Tàu là Tô Tứ nổi lên, cướp thành Lạng Sơn, bắt giết Tổng thống quân vụ Bắc Kỳ là Đoàn Thọ, triều đình Huế bèn phái Hoàng kế Viêm ra làm Lạng-Bình-Ninh-Thái Thống đốc quân vụ đại thần (1870), để hiệp với lực lượng của Tán tương Tôn Thất Thuyết cùng lo việc đánh dẹp.
Hoàng Kế Viêm vừa đánh vừa dụ hàng, thu phục được Lưu Vĩnh Phúc, đánh tan quân Cờ trắng và Cờ vàng. Hoàng Sùng Anh cũng bị quân Cờ đen truy lùng và giết chết khi trốn chạy. Nhờ công lao này, Hoàng Kế Viêm được phong Đại học sĩ lãnh Tổng thống Tam Tuyên, sung Tiết chế quân vụ miền Bắc.
Vì đất Bắc Kỳ luôn có loạn, năm Canh Thìn (1880) triều đình đặt ra Lạng Giang đạo và Đoan Hùng đạo, rồi sai hai viên Tĩnh biên phó sứ là Trương Quang Đản đóng ở Lạng Giang và Nguyễn Hữu Độ đóng ở Đoan Hùng. Phong cho Hoàng Kế Viêm là Tĩnh biên sứ, kiêm cả hai đạo.
Khi quân Pháp xâm chiếm Đại Nam, Hoàng Kế Viêm đứng về phe chủ chiến. Hoàng Kế Viêm liền được cử làm Tiết chế Bắc Kỳ quân vụ (chức vụ quân sự cao cấp nhất tại Bắc Kỳ) để đôn đốc các nơi lo việc chống ngăn.
Ông trước đây là người trong phái chủ chiến, nhưng sau này ngả dần sang chủ hoà. Khi Pháp đánh thành Hà Nội, ông được vua ban Tổng thống quân vụ Bắc kỳ, toàn quyền chỉ huy. Khi Hà nội bị vây hãm, ông đang cầm hơn 1 vạn quân tinh nhuệ nhất triều đình, đóng ngay tại Sơn Tây, vậy mà Không làm gì cả để mặc cho Hoàng Diệu cô độc trơ trọi chiến đấu một mình đến nỗi mất thành, thắt cổ tự vẫn.
Năm sau (1883) Pháp lại tiến đánh Sơn Tây, ông đóng quân ở ngay đó (ở đền Và) mà vẫn Không làm gì cả. Ông không cho quân ứng cứu, bỏ mặc cho Tổng đốc Nguyễn Đình Nhuận đơn độc đánh nhau 3 ngày 3 đêm, tiêu diệt hơn 100 quân Pháp—trong đó có 1 đại úy và 5 sĩ quan—cùng với 350 lính khác bị thương. Trận Sơn Tây này thật oanh liệt, nhưng quân ta và quân Lưu Vĩnh Phúc cũng chết rất nhiều (riêng quân Cờ Đen thương vong hơn 1000 quân) nên sau đó phải rút ra ngoài.
Bốn tháng sau (12/4/1884) Pháp lại tiến đánh Hưng Hóa. Lúc này, ông cũng đóng quân tại Hưng Hóa (từ Hạ Bi Thanh Thủy đến Sông Bứa), cũng lại Không làm gì cả, rồi sau đó cho rút quân vào Đồn Vàng Thanh Sơn, rồi cuối cùng, hồi kinh để mất tiếp luôn thành Hưng Hoá về tay giặc Pháp... Ngày nay nhiều người không biết, cứ đổ lỗi tại vua ra lệnh triệt binh.
Khi về kinh, ông phục vụ Đồng Khánh, một vị vua bán nước, đã phái ông đem quân đi đánh dẹp Cần Vương nhưng ông cũng cầm quân rồi Không làm gì cả. Đến cuối năm 1885, ông được Vua Đồng Khánh phong làm Thái tử Thiếu bảo, Cơ mật viên Đại thần. Và chẳng bao lâu sau, ông xin về hưu trí, nhưng không được, và mãi đến đời vua Thành Thái, năm 1889, ông mới được nghỉ hưu, về quê sống đến khi mất (1909), thọ 89 tuổi.
Ông kết duyên với con gái thứ năm của vua Minh Mạng là Hương La Công chúa Quang Tĩnh, nhưng chẳng bao lâu thì vợ mất.
Năm cuối thập niên 1860, dư đảng của Thái Bình Thiên quốc là Ngô Côn chạy tràn sang miền Bắc Việt Nam. Đến khi đảng cướp người Tàu là Tô Tứ nổi lên, cướp thành Lạng Sơn, bắt giết Tổng thống quân vụ Bắc Kỳ là Đoàn Thọ, triều đình Huế bèn phái Hoàng kế Viêm ra làm Lạng-Bình-Ninh-Thái Thống đốc quân vụ đại thần (1870), để hiệp với lực lượng của Tán tương Tôn Thất Thuyết cùng lo việc đánh dẹp.
Hoàng Kế Viêm vừa đánh vừa dụ hàng, thu phục được Lưu Vĩnh Phúc, đánh tan quân Cờ trắng và Cờ vàng. Hoàng Sùng Anh cũng bị quân Cờ đen truy lùng và giết chết khi trốn chạy. Nhờ công lao này, Hoàng Kế Viêm được phong Đại học sĩ lãnh Tổng thống Tam Tuyên, sung Tiết chế quân vụ miền Bắc.
Vì đất Bắc Kỳ luôn có loạn, năm Canh Thìn (1880) triều đình đặt ra Lạng Giang đạo và Đoan Hùng đạo, rồi sai hai viên Tĩnh biên phó sứ là Trương Quang Đản đóng ở Lạng Giang và Nguyễn Hữu Độ đóng ở Đoan Hùng. Phong cho Hoàng Kế Viêm là Tĩnh biên sứ, kiêm cả hai đạo.
Khi quân Pháp xâm chiếm Đại Nam, Hoàng Kế Viêm đứng về phe chủ chiến. Hoàng Kế Viêm liền được cử làm Tiết chế Bắc Kỳ quân vụ (chức vụ quân sự cao cấp nhất tại Bắc Kỳ) để đôn đốc các nơi lo việc chống ngăn.
Ông trước đây là người trong phái chủ chiến, nhưng sau này ngả dần sang chủ hoà. Khi Pháp đánh thành Hà Nội, ông được vua ban Tổng thống quân vụ Bắc kỳ, toàn quyền chỉ huy. Khi Hà nội bị vây hãm, ông đang cầm hơn 1 vạn quân tinh nhuệ nhất triều đình, đóng ngay tại Sơn Tây, vậy mà Không làm gì cả để mặc cho Hoàng Diệu cô độc trơ trọi chiến đấu một mình đến nỗi mất thành, thắt cổ tự vẫn.
Năm sau (1883) Pháp lại tiến đánh Sơn Tây, ông đóng quân ở ngay đó (ở đền Và) mà vẫn Không làm gì cả. Ông không cho quân ứng cứu, bỏ mặc cho Tổng đốc Nguyễn Đình Nhuận đơn độc đánh nhau 3 ngày 3 đêm, tiêu diệt hơn 100 quân Pháp—trong đó có 1 đại úy và 5 sĩ quan—cùng với 350 lính khác bị thương. Trận Sơn Tây này thật oanh liệt, nhưng quân ta và quân Lưu Vĩnh Phúc cũng chết rất nhiều (riêng quân Cờ Đen thương vong hơn 1000 quân) nên sau đó phải rút ra ngoài.
Bốn tháng sau (12/4/1884) Pháp lại tiến đánh Hưng Hóa. Lúc này, ông cũng đóng quân tại Hưng Hóa (từ Hạ Bi Thanh Thủy đến Sông Bứa), cũng lại Không làm gì cả, rồi sau đó cho rút quân vào Đồn Vàng Thanh Sơn, rồi cuối cùng, hồi kinh để mất tiếp luôn thành Hưng Hoá về tay giặc Pháp... Ngày nay nhiều người không biết, cứ đổ lỗi tại vua ra lệnh triệt binh.
Khi về kinh, ông phục vụ Đồng Khánh, một vị vua bán nước, đã phái ông đem quân đi đánh dẹp Cần Vương nhưng ông cũng cầm quân rồi Không làm gì cả. Đến cuối năm 1885, ông được Vua Đồng Khánh phong làm Thái tử Thiếu bảo, Cơ mật viên Đại thần. Và chẳng bao lâu sau, ông xin về hưu trí, nhưng không được, và mãi đến đời vua Thành Thái, năm 1889, ông mới được nghỉ hưu, về quê sống đến khi mất (1909), thọ 89 tuổi.
