Sekolah Kebangsaan Jalan Datuk Palembang dibina pada tahun 1960 dengan nama Bukit Baru English School. Sekolah ini mula beroperasi pada 2 Januari 1961 dengan jumlah murid seramai 153 orang (135 lelaki dan 18 perempuan) dan 9 orang guru. Hanya terdapat 5 buah kelas sahaja pada ketika itu.
Majlis Perasmian sekolah ini telah disempurnakan pada hari Jumaat bersamaan 15 Jun 1962 oleh Tun Abdul Ghafar bin Baba, Ketua Menteri Melaka pada ketika itu.
Pada 1 September 1962, dua buah kelas khas untuk murid-murid pekak dan bisu telah dibuka di sekolah ini. Di setiap kelas tersebut, terdapat 12 orang pelajar yang berusia antara 5 hingga 14 tahun.
Pada tahun 1976, dengan rasminya sekolah ini ditukar nama kepada Sekolah Kebangsaan Jalan Datuk Palembang sempena mengambil nama bukit yang terdapat di belakang sekolah ini iaitu Bukit Palembang. Kini, di kawasan bukit tersebut telah dibina Akademi Kastam Diraja Malaysia.
Dari semasa ke semasa, sekolah ini telah menunjukkan kecemerlangan dalam pelbagai bidang sehingga mendapat anugerah-anugerah berprestij di peringkat kebangsaan mahupun negeri atau daerah. Antara anugerah tertinggi yang diperoleh termasuklah Anugerah Sekolah Cemerlang 2007 dan Sekolah Kluster Kecemerlangan pada tahun 2014.
SK Jalan Datuk Palembang juga merupakan salah satu sekolah yang telah terpilih untuk kohort 6 bagi Program Transformasi Sekolah 2025, TS25 pada tahun 2021.