Tên gọi “Xứ sở mặt trời mọc” đã được hình thành khá lâu, có nhiều yếu tố hình thành. Tên gọi Nhật Bản hay Nippon hay Nihon đều có chung ý nghĩa là “nguồn gốc của mặt trời”.

Chịu ảnh hưởng nhiều từ văn hóa Trung Quốc cổ, từ cách sử dụng lịch, các công trình cầu đường đến các công trình kiến trúc Phật giáo và Khổng giáo, nên quan niệm của Trung Quốc về Nhật Bản cũng ảnh hưởng sâu đậm đến quan niệm của con người Nhật Bản. Vì thế Nhật Bản được mô tả là xứ sở Mặt trời mọc bởi khi người Trung Quốc nhìn về phía Nhật Bản – phía Đông, họ cũng đang nhìn thẳng về phía mặt trời lên mỗi sáng.

Về mặt lịch sử, từ thời xa xưa người Nhật chỉ biết đến Trung Quốc và Đại Hàn giáp phía Tây của họ, nhưng họ không tìm thấy vùng đất nào phía Đông. Do vậy nên họ tin rằng họ là người đầu tiên được đánh thức bằng ánh Mặt trời trong cả Châu Á. Thật vậy, Nhật Bản tọa lạc ở cực Đông Châu Á, nên Nhật Bản sẽ đón những tia bình mình đầu tiên trong cả khu vực.

Trước khi sứ giả đầu tiên của Nhật Bản được cử sang nhà Hán vào năm 57 sau công nguyên, người Trung Quốc gọi người Nhật là Oa dân, gọi nước Nhật là Oa Quốc (nước lùn). Trước thế kỉ thứ V sau công nguyên, các láng giềng Nhật Bản đã được thống nhất bởi gia tộc Yamato nên lúc đó Yamato được xem như quốc danh. Cho đến thế kỉ thứ VII sau công nguyên, hoàng tử nhiếp chính Shotoku đã viết một lá thư cho hoàng đế nhà Tùy, trong thư có ghi: “…từ Thiên tử của vùng đất mặt trời mọc gửi đến Thiên tử của vùng đất mặt trời lặn…”, điều này làm hoàng đế Tùy cảm thấy bị xúc phạm vì Shotoku tự xưng là Thiên tử, ngang hàng với hoàng đế.

Theo Cựu Đường Thư, cuối thế kỉ VII các đặc sứ Nhật Bản không thích tên nước của họ là Wongou (Oa quốc – Nước lùn) và đổi nó thành Nippon, Nippon ở đây có nghĩa như nguồn gốc của mặt trời.
Năm 670, Nhật Bản gửi một sứ bộ đến chúc mừng triều đình nhà Đường nhân dịp vừa bình định Triều Tiên và nhân dịp đó được đổi tên nước thành Nippon vì những phái viên Nhật Bản cho rằng quê hương của họ gần với nơi mặt trời mọc