Bạc xỉu có thể được xem là loại đồ uống được pha trộn giữa ba nền văn hóa là Hoa - Pháp - Việt. Vào thời kỳ Pháp thuộc ở Việt Nam (1858 - 1954), người Hoa sống tại Sài Gòn dường như đi sớm trong việc kinh doanh hàng quán, kể cả việc mở bán cà phê.
Trong thời gian đầu, phụ nữ và trẻ con không quan tâm đến việc dùng cà phê đen và cà phê sữa vì chúng có vị đắng, rất khó uống. Thậm chí có thời điểm sữa tươi lại có giá khá đắt đỏ nên người ta đã dùng sữa đặc pha với nước nóng để thay thế.
Dần dần, vị đắng gắt của cà phê dường như không còn nữa và thế là bạc xỉu ra đời (vì sử dụng nhiều sữa hơn cà phê, giúp giảm bớt độ đắng và tạo hương thơm đặc trưng cho món nước).
