Tên Côn Đảo có nguồn gốc Mã Lai, bắt nguồn từ danh xưng "Pulau Kundur" (nghĩa là "hòn Bí"). Người châu Âu phiên âm là "Poulo Condor". Sách sử Việt Nam thì gọi là "đảo Côn Lôn". Riêng tên tiếng Khmer của đảo là "Koh Tralach".
Thuở xưa, lúc bị quân Tây Sơn tấn công thì Nguyễn Ánh từng trốn ra Côn Đảo để tính kế phục thù. Tương truyền khi biết Pigneau de Behaine (Bá Đa Lộc) khuyên Nguyễn Ánh cầu viện sự giúp đỡ từ Pháp thì một vị thứ phi đã lên tiếng phản đối. Nguyễn Ánh đày bà ra đảo Côn Lôn Nhỏ, từ đó đảo này có tên gọi là hòn Bà.
Về các địa danh hòn Trác và hòn Tài, có nguồn giải thích rằng chúng bắt nguồn từ tên của hai anh em sinh đôi là Đặng Phong Tài và Đặng Trác Vân. Cả hai đều là tuỳ tùng phò vua Hàm Nghi chống thực dân. Năm 1899, Pháp đày Đặng Phong Tài ra Côn Đảo - nơi ông kết duyên cùng người con gái tên Đào Minh Nguyệt. Về sau, người em Đặng Trác Vân cũng bị đày ra đây. Người chị dâu nảy sinh tình ý với em chồng, khiến Vân dần cảm thấy lo ngại và bèn quyết định bỏ sang hòn đảo khác. Khi Tài lần sang đảo tìm em thì Vân lại bỏ đi đảo khác.
Côn Đảo là một trong 21 khu du lịch quốc gia của Việt Nam. Nơi đây được nhiều du khách đánh giá là thiên đường của nghỉ dưỡng và khám phá thiên nhiên (rừng và biển). Côn Đảo được xem là hòn đảo du lịch với những bãi tắm hoang sơ tuyệt đẹp, làn nước trong xanh mát lạnh, bãi cát dài phẳng mịn. Không khí trên đảo thật trong lành, được ví như thiên đường nghỉ dưỡng. Sở hữu rừng nguyên sinh và biển được bảo tồn đa dạng sinh học, Côn Đảo không chỉ là nơi nghiên cứu của các nhà khoa học mà còn là nơi để du khách đến du lịch khám phá, với các chương trình du lịch sinh thái.
Tháng 5 năm 2011, tạp chí Travel + Leisure gọi Côn Đảo - nơi có "những vách đá dốc đứng bênh cạnh những bãi biển hoang sơ và làn nước xanh trong vắt" - là một trong những đảo bí ẩn và tốt nhất thế giới.Tương tự, Lonely Planet cũng xếp Côn Đảo vào danh sách những đảo bí ẩn và tốt nhất thế giới, đồng thời ca ngợi Côn Đảo là "thiên đường thiên nhiên với những cánh rừng rậm rạp, làn nước màu ngọc bích, những bãi cát trắng và là ngôi nhà của bò biển, cá heo, rùa biển và những rạn san hô ngoạn mục"
Ngày 5 tháng 9 năm 2011, Thủ tướng Chính phủ Việt Nam kí Quyết định số 1518/QĐ-TTG phê duyệt điều chỉnh Quy hoạch chung xây dựng Côn Đảo, tỉnh Bà Rịa - Vũng Tàu đến năm 2030, theo đó định hướng sẽ phát triển Côn Đảo thành khu kinh tế du lịch hiện đại, tầm cỡ khu vực và quốc tế.