Cách đây khoảng 6 thế kỷ, hồ Gươm gồm hai phần chạy dài từ phố Hàng Đào, qua phố Hai Bà Trưng, Lý Thường Kiệt tới phố Hàng Chuối, thông với sông Hồng. Nước hồ quanh năm xanh biếc nên hồ Gươm cũng được gọi là hồ Lục Thuỷ.
Tương truyền vào thế kỷ XV, hồ được đổi tên thành hồ Hoàn Kiếm, gắn liền với truyền thuyết trả gươm thần cho Rùa Vàng: Khi Lê Lợi lên ngôi Hoàng đế lấy niên hiệu là Lê Thái Tổ về đóng đô ở Thăng Long. Trong một lần nhà vua đi chơi thuyền trên hồ Lục Thủy, bỗng một cụ rùa lớn xuất hiện. Lê Thái Tổ giơ gươm ra thì gươm bay về phía cụ rùa. Rùa ngậm gươm lặn xuống đáy hồ, và từ đó hồ Lục Thủy có tên gọi mới là hồ Hoàn Kiếm (trả gươm) hay hồ Gươm.
Trên hồ có hai hòn đảo: đảo Ngọc và đảo Rùa. Cuối thế kỷ XVI, chúa Trịnh dựng phủ Chúa ở phường Báo Thiên (nay là Nhà Thờ Lớn) và ở chỗ phố Thợ Nhuộm gần hồ nên đặt tên cho hai phần hồ là Hữu Vọng và Tả Vọng.
Năm 1865, danh sĩ Nguyễn Văn Siêu đã đứng ra sửa sang lại đền Ngọc Sơn trên đảo Ngọc. Trên gò Ngọc Bội, ông cho xây một ngọn tháp hình bút. Đó là tháp Bút ngày nay và bắc một cầu từ bờ Đông đi vào gọi là cầu Thê Húc.
Hồ Hoàn Kiếm là một thắng cảnh của Hà Nội. Quanh hồ trồng nhiều loại hoa và cây cảnh. Giữa hồ có tháp Rùa, trên hồ có đền Ngọc Sơn. Xung quanh hồ còn có những di tích lịch sử khác như tượng vua Lê Thái Tổ, cầu Thê Húc, tháp Bút, đền Bà Kiệu...