Huỳnh Văn Nghệ là con thứ 7 trong gia đình nên còn gọi là Tám Nghệ. Trừ 2 người đầu mất tích do bão lũ năm 1903, và người thứ ba và thứ sáu mất sớm, ông có một người anh thứ tư (Năm Thọ) và người chị thứ năm (Sáu Yển) và 2 người em út (Chín Lưỡng và Mười Mẫn). Như thông tục thời bấy giờ, ông còn được cha mẹ gọi là Ngộ hoặc Ngãi.
Tuy nhà nghèo, nhưng ông được hưởng một nền giáo dục rất tốt, được cha dạy dỗ về căn bản cả văn lẫn võ, được gia đình chăm lo ăn học đến nơi đến chốn. Ông được cho đi học bậc tiểu học tại làng Mỹ Lộc, quận Tân Uyên và học rất giỏi. Nhờ đó, năm 1928, sau khi tốt nghiệp bậc tiểu học, ông đã giành được học bổng bậc trung học của Trường Petrus Ký. Sau khi lên Sài Gòn học ít lâu, cha ông tử nạn bởi bị rắn độc cắn. Toàn bộ gia đình ông trông nhờ vào người mẹ buôn bán nhỏ và người anh làm thầy giáo ở quê nhà.
Từ nhỏ, ông chịu ảnh hưởng tinh thần yêu nước của gia đình. Khi học bậc trung học tại trường Petrus Ký tại Sài Gòn, ông thường xuyên có thái độ bài Pháp thực dân và có thể đã có những tiếp xúc đầu tiên với những người Cộng sản. Trong tự truyện của mình, ông có ghi lại tên người Cộng sản đầu tiên tiếp xúc với ông tên là Phụng, gặp khi ông và người đó cùng chữa trị tại bệnh viện..
Sau khi tốt nghiệp với bằng Thành chung vào năm 1932, ông vào làm công chức tại Sở Hỏa xa Đông Dương (Sài Gòn). Thời gian này, ông được các cán bộ Cộng sản vận động, tham gia phong trào Đông Dương Đại hội vào năm 1936, một phong trào vận động thu thập dân nguyện đề nghị cải cách với chính quyền thực dân Pháp, bắt đầu hoạt động làm thơ, viết báo (tiếng Việt, tiếng Pháp) đăng trên các báo ở Sài Gòn với bút danh Hoàng Hồ. Năm 1937, ông được bí mật kết nạp vào Đảng Cộng sản Đông Dương lần thứ nhất.
Năm 1940, Khởi nghĩa Nam Kỳ nổ ra và bị chính quyền thực dân đàn áp khốc liệt. Vì là một đảng viên bí mật nên thân phận của ông không bị bại lộ. Nhưng do việc thường xuyên tiếp tế cho một bộ phận nghĩa quân rút về lập căn cứ ở Tân Uyên, năm 1942, ông bị phát hiện và bị truy bắt. May mắn là ông kịp đào thoát sang Thái Lan. Tại đây, ông hoạt động trong phong trào Việt kiều yêu nước, tổ chức xuất bản tờ báo Hồn cố hương, kêu gọi Việt kiều bào hướng về Tổ quốc, ủng hộ cách mạng.
Năm 1944, ông trở về nước bắt liên lạc với Trần Văn Giàu, Bí thư Xứ ủy Nam Kỳ và được giao lập khu nghĩa quân Đất Cuốc tại quê hương Tân Uyên, Biên Hòa.
Tháng 7 năm 1945, lần thứ hai ông được kết nạp vào Đảng Cộng sản Đông Dương, Thủ lĩnh Thanh niên Tiền phong tại Biên Hòa, và tham gia Tổng khởi nghĩa tháng Tám, trực tiếp chỉ huy bắt sống Tỉnh trưởng là Nguyễn Văn Quý và cảnh sát trưởng tỉnh Biên Hòa là Phước. Ông được giao nhiệm vụ chỉ huy trưởng lực lượng Giải phóng quân Biên Hòa, cố vấn cho Ủy ban kháng chiến miền Đông.
Chính quyền cách mạng giao cho ông trọng trách mang hơn 10 vạn đồng (tiền Đông Dương) qua Campuchia mua vũ khí về phục vụ cách mạng nhưng hai kẻ môi giới cầm tiền đã bỏ trốn, khiến ông không hoàn thành nhiệm vụ. Sau này hai kẻ môi giới lừa bịp đã bị bắt.
Cuối tháng 9 năm 1945, Sài Gòn bị Pháp chiếm, luật sư Dương Văn Giáo, một trong những lãnh đạo Việt Nam phục quốc đồng minh hội, đứng ra thành lập chính phủ Nam kỳ Cộng hòa quốc. Huỳnh Văn Nghệ đã trực tiếp tham gia bắt sống Dương Văn Giáo.
Ngày 25 tháng 10 năm 1945, Pháp đánh chiếm Biên Hòa, Thủ Dầu Một. Ngày 22 tháng 10 Uỷ ban kháng chiến miền Đông rút ra Xuân Lộc, Phan Thiết. Một bộ phận 40 người và 30 súng trường do ông chỉ huy trở về Tân Tịch, ấp Đất Cuốc huyện Tân Uyên dựa vào rừng quê hương làm căn cứ xây dựng lực lượng chống thực dân Pháp, gọi là bộ đội Huỳnh Văn Nghệ. Căn cứ Tân Uyên được ông bố trí phòng ngự vững chắc, vận động nuôi ăn cho đơn vị tỉnh và bộ đội các tỉnh bạn về đây theo lệnh của Khu trưởng Nguyễn Bình, bảo vệ Khu bộ, tiếp liệu cho các công binh xưởng của khu. Không bao lâu, Tân Uyên trở thành một trong những căn cứ vững mạnh nhất ở Nam bộ.
Tháng 4 năm 1946 ông được cử làm Phó Chủ tịch kiêm Ủy viên Quân sự của Ủy ban Hành chính tỉnh Biên Hòa.
Khi thực dân Pháp tiến hành xâm lược Việt Nam lần thứ 2, trên địa bàn tỉnh Biên Hoà có 3 tổ chức vũ trang yêu nước là: Vệ quốc đoàn Châu Thành, Vệ quốc đoàn Long Thành, Vệ quốc đoàn Biên Hoà.
Vệ quốc đoàn Châu Thành do quận uỷ Châu Thành xây dựng, bao gồm một bộ phận Thanh niên Tiền phong và lực lượng công đoàn xung phong của nhà máy cưa BIF. Lực lượng này có khoảng 60 chiến sĩ, được tổ chức thành 5 tiểu đội do Doãn Tiến Nghiệp chỉ huy. Đơn vị đứng chân hoạt động tại khu vực Tân Phú – Thiện Tân. Sau này, Lê Văn Ngọc thay thế Doãn Tiến Nghiệp chỉ huy nên người dân địa phương gọi là "bộ đội Sáu Ngọc"
Vệ quốc đoàn Long Thành do Quận uỷ Long Thành xây dựng với 27 chiến sĩ, gọi tên là "Cộng hoà vệ binh". Lực lượng này có nhiều biến động, trong đó có việc tiếp nhận một số lực lượng từ Sài Gòn đến và cán bộ từ Trại du kích Vĩnh Cửu. Sau nhiều lần thay đổi tên gọi và tiếp nhận lực lượng, đến tháng 1 năm 1946, lực lượng này mang tên là Vệ quốc đoàn Châu Thành, do Huỳnh Văn Đạo chỉ huy.
Tháng 5 năm 1946, Hội nghị Quân sự tỉnh Biên Hoà tổ chức tại Chiến khu Đ và quyết định thống nhất các lực lượng vũ trang Biên Hoà. Vệ Quốc đoàn Châu Thành sáp nhập với Vệ quốc đoàn Biên Hoà do Huỳnh Văn Nghệ làm chỉ huy. Lúc này, Vệ quốc đoàn Long Thành còn hoạt động độc lập.
Tháng 6 nắm 1946, Khu 7 mở Hội nghị Quân sự toàn Khu tại Đông Thành, quyết định thống nhất các lực lượng vũ trang mỗi tỉnh và tổ chức thành Chi đội. Tại Biên Hoà, Vệ quốc đoàn Long Thành sáp nhập vào Vệ quốc đoàn Biên Hoà. Từ đây, lực lượng vũ trang yêu nước tại Biên Hoà hình thành Chi đội 10. Sau đó ông làm Chi đội trưởng Chi đội 10 Vệ quốc đoàn Nam Bộ (tương đương trung đoàn) hoạt động tại địa bàn Biên Hòa. Ban Chỉ huy Chi đội gồm: Huỳnh Văn Nghệ – Chi đội trưởng, Nguyễn Văn Lung – Chi đội phó và Phan Đình Công – Chính trị viên.
Quân số của Chi đội 10 trên 2.000 người, được tổ chức thành 3 đại đội với phiên hiệu A, B,C. Đại đội A gồm 3 trung đội 1,2,3 do Võ Tinh Quân chỉ huy, đứng chân hoạt động trên địa bàn Tân Uyên, Chiến khu Đ; đại đội B gồm 3 trung đội 4,5,6 do Lê Văn Ngọc chỉ huy, đứng chân hoạt động trên địa bàn Xuân Lộc, Châu Thành; đại đội Công nhân gồm 2 trung đội 7,8 do Lương Văn Nho chỉ huy hoạt động ở địa bàn Long Thành.
Ông đã chỉ huy nhiều trận đánh lớn tại miền Đông, đặc biệt với trận La Ngà ngày 1 tháng 3 năm 1948, đây là trận giao thông chiến lớn nhất Nam bộ kể từ ngày Pháp tái chiếm Nam Bộ. Quân đội do ông chỉ huy đã tiêu diệt 2 đại đội địch, 63 xe camions và thiết giáp, giết hai quan năm De Désarigné và Barasat, bắt sống một số sĩ quan Pháp, trong đó có tên quan ba Goffrey bị thương. Đơn vị ông được Chính phủ Việt Nam Dân chủ Cộng hòa tặng thưởng Huân chương Chiến công, riêng Trung đoàn trưởng Huỳnh Văn Nghệ được đích thân Chủ tịch Hồ Chí Minh gửi thưởng riêng một áo trấn thủ.
Sau tháng 7/1948, Huỳnh Văn Nghệ nhận nhiệm vụ Khu Trưởng Khu 7, cùng Chính ủy Khu 7 Nguyễn Văn Trí xây dựng căn cứ mới của Khu, thành lập Bộ đội chỉ lực Khu 7, lấy tên là Bộ đội 303. Năm 1949, khi phát hiện một du kích đánh được tháp canh của địch, nghiên cứu sáng kiến cách đánh tháp canh này của du kích, ông phát triển chiến thuật, giao cho Tham mưu trưởng Khu 7 Nguyễn Văn Lung (Ba Lung) phân công đồng chí Lê Quang Nghiêm tức họa sĩ Lê Du cùng với hai đồng chí cán bộ tham mưu Tiểu đoàn trưởng Nguyễn Soái và Hoàng Trọng Đức điều nghiên, vẽ sơ đồ hệ thống tháp canh De La Tour phục vụ Bộ Tư lệnh tổ chức trận đánh đầu tiên ở Biên Hòa, hạ 30 tháp canh trong một đêm. Kết quả giết được nhiều địch, thu nhiều vũ khí. Sau đó ông đã phổ biến kỹ chiến thuật đánh tháp canh cho khắp các tỉnh ở Nam bộ, Liên khu 5 và Cao Miên, đập tan sáng kiến chiến lược tháp canh De La Tour của Tướng De La Tour và giải quyết được sự bế tắc chiến thuật của Khu 7 lúc đó.
Năm 1950, sau khi sáp nhập khu Sài Gòn - Chợ Lớn vào khu 7, Huỳnh Văn Nghệ là Phó Tư lệnh bộ Tư lệnh Khu 7.
