Yên Thế Thượng vào giữa thế kỷ 19 còn là một vùng đất hoang vu chưa được khai phá. Đây là nơi tá túc của nhiều toán giặc Khách, nhiều toán thổ phỉ thường xuyên cướp phá các vùng lân cận. Đây cũng là nơi cho nông dân lưu tán hoặc đang bị truy đuổi đến ẩn náu và sinh sống từ những năm 60 và 70 của thế kỷ 19. Ở đây, họ cùng nhau khai phá đất hoang để trồng cấy, kiếm lâm sản, sống lẫn lộn với bọn giặc Khách, bọn thổ phỉ. Để chống lại ách áp bức, sự truy bắt của chính quyền cũng như chống lại sự cướp bóc, tàn phá của giặc cướp, những người nông dân lưu tán đến cư ngụ ở đây đã phải lập những đội vũ trang tự vệ, những làng chiến đấu. Đây được đánh giá là vùng đất thiếu an ninh nhất của Bắc kỳ lúc bấy giờ.
