Trường Hồ Ngọc Cẩn được sáng lập từ tỉnh Bùi Chu, Bắc Phần. Cụ Hồ Ngọc Cẩn là vị Giám Mục thứ nhì của Thiên Chúa Giáo Việt Nam. Cụ cũng là Giám mục tiên khởi của giáo phận Bùi Chu. Do biến cố lịch sử, trường di cư vào miền Nam sau hiệp định Geneve năm 1954.

Trong thời gian đầu, trường tá túc tại Tiểu Chủng Viện Công Giáo tại đường Bùi Thị Xuân, cạnh nhà thờ Huyện Sĩ. Lúc bấy giờ trường chỉ gồm hai dẫy nhà lầu bằng gỗ, lợp ngói xi măng đơn giản. một phần ba thành phần học sinh là chủng sinh, chuẩn bị để trở thành linh mục.

Ðầu thập niên 60 trường đổi đến địa điểm hiện tại là một phần của trường Nam Tỉnh Lỵ Gia Ðịnh. Sau năm 1975 trường trở thành trường tiểu học với tên mới là Nguyễn Ðình Chiểu.