Sau khi nước Việt Nam Dân chủ Cộng hòa thành lập, vào ngày 16 tháng 8 năm 1945, Phạm Văn Đồng được giữ chức Bộ trưởng Tài chính. Tuy nhiên ông để lại dấu ấn nhiều trong lĩnh vực ngoại giao.
Ngày 2 tháng 3 năm 1946 tại Hà Nội, ông được bầu làm Phó Trưởng ban Thường vụ Quốc hội (khóa I).
Thủ tướng Phạm Văn Đồng (áo đen), đi sau chủ tịch Hồ Chí Minh ở thủ đô Paris, Pháp, 1946.
Ngày 31 tháng 5 năm 1946, Phạm Văn Đồng là Trưởng phái đoàn Việt Nam Dân chủ Cộng hòa tại Hội nghị Fontainebleau (Pháp)[8] thay cho Nguyễn Tường Tam không nhận nhiệm vụ, nhằm tìm một giải pháp độc lập cho Đông Dương. Tuy nhiên, hội nghị này thất bại do Pháp không trả lời dứt khoát về việc ấn định thời hạn thực hiện cuộc trưng cầu dân ý ở Nam Kỳ.
Chiến tranh Đông Dương bùng nổ, ông được cử làm Đặc phái viên của Trung ương Đảng và Chính phủ tại Nam Trung Bộ. Năm 1947 ông được bầu làm Ủy viên dự khuyết Ban chấp hành Trung ương Đảng Cộng sản Đông Dương (Uỷ viên chính thức từ năm 1949). Từ tháng 7 năm 1949, ông được cử làm Phó Thủ tướng duy nhất.
Tại Đại hội Đảng Cộng sản Đông Dương/Đảng Lao động Việt Nam lần thứ hai năm 1951, Phạm Văn Đồng trở thành Ủy viên Bộ Chính trị Trung ương Đảng.
Năm 1954, ông được giao nhiệm vụ Trưởng phái đoàn Chính phủ dự Hội nghị Genève về Đông Dương. Những đóng góp của đoàn Việt Nam do ông đứng đầu là vô cùng quan trọng, tạo ra những đột phá đưa Hội nghị tới thành công. Trải qua 8 phiên họp toàn thể và 23 phiên họp rất căng thẳng và phức tạp, với tinh thần chủ động và cố gắng của phái đoàn Việt Nam, ngày 20/7/1954, bản Hiệp định đình chỉ chiến sự ở Việt Nam, Campuchia và Lào đã được ký kết thừa nhận tôn trọng độc lập, chủ quyền, của nước Việt Nam, Lào và Campuchia.
Tháng 9 năm 1954, Phạm Văn Đồng kiêm chức Bộ trưởng Ngoại giao nước Việt Nam Dân chủ Cộng hòa, Trưởng ban Đối ngoại Trung ương Đảng. Từ tháng 9 năm 1955, ông là Thủ tướng Chính phủ của Việt Nam Dân chủ Cộng hòa và từ năm 1976 là Thủ tướng của nước Việt Nam thống nhất, Phó Chủ tịch Hội đồng Quốc phòng cho đến khi về hưu năm 1987. Ông cũng liên tục là đại biểu Quốc hội từ năm 1946 đến năm 1987.
Trong thời gian làm thủ tướng chính phủ, Phạm Văn Đồng và Nguyễn Văn Linh là người đã giải oan cho đạo diễn Trần Văn Thủy trong sự kiện về bộ phim tài liệu Hà Nội trong mắt ai.
Tại Đại hội Đảng lần thứ V đã bầu Phạm Văn Đồng vào Ban Chấp hành Trung ương Đảng và Uỷ viên Bộ Chính trị.
Hoạt động sau khi nghỉ hưu
Phạm Văn Đồng là Cố vấn Ban chấp hành Trung ương Đảng Cộng sản Việt Nam từ tháng 12 năm 1986 đến 1997. Ông cùng Tổng Bí thư Nguyễn Văn Linh và Thủ tướng Đỗ Mười đã tham gia cuộc gặp không chính thức với lãnh đạo Trung Quốc tại Thành Đô tháng 9 năm 1990 nhằm bình thường hóa mối quan hệ giữa hai nước sau hơn 10 năm căng thẳng và xung đột.
Ngày 21 tháng 8 năm 1998, thủ tướng Phan Văn Khải ký quyết định số 746/QĐ – TTg bổ nhiệm ông làm chủ tịch danh dự Hội đồng Quốc gia Chỉ đạo Biên soạn Từ điển bách khoa Việt Nam
Ông đã được tặng thưởng Huân chương Sao Vàng của Việt Nam và nhiều huân chương khác của Liên Xô, Lào, Campuchia, Cuba, Bulgaria, Ba Lan và Mông Cổ.
Từ đầu thập niên 80 thế kỷ XX, do bị teo dây thần kinh đáy mắt nên mắt ông bắt đầu mờ dần.
Phạm Văn Đồng mất tại Hà Nội ngày 29 tháng 4 năm 2000, hưởng thọ 94 tuổi.