SMK Sultan Mansor Shah telah ditubuhkan pad 1 januari 1965. Kumpulan Pertama pelajar terdiri daripada kira-kira 278 orang yang belajar di empat [4] kelas tingkatan 1 dan 3 peralihan. Tenaga pengajar awal SMK Sultan Mansor Shah terdiri daripada 10 orang guru.
Nama asal sekolah ini ialah Sekolah Menengah Rendah XXVIII. Pada peringkat awal penubuhannya, sekolah ini menumpang di bangunan Sekolah Rendah Jenis Kebangsaan (Cina) Pay Chee di sebelah petang selama hampir dua tahun. Pada 22 Ogos 1996, sekolah ini telah berpindah ke bangunannya sendiri, iaitu bangunan yang dimiliki sekarang.
Bilangan penuntutnya bertambah dengan cepat. Sehingga tahun 1976, kelas di sebelah petang terpaksa diadakan disebabkan oleh kekurangan bilik darjah dengan jumlah pelajar seramai 455 orang pelajar. Tenaga pengajar sekolah juga mengalami pertambahan kepada 15 orang dengan empat [4] orang kakitangan pentadbiran.
Pembukaan sekolah ini telah dirasmikan oleh YAB En. Mohd Khir Johari yang merupakan Menteri Pelajaran ketika itu. Nama sekolah kemudiannya telah ditukar kepada "SEKOLAH SULTAN MANSOR SHAH", iaitu mengambil sempena nama Sultan Melaka ke-6 yang memerintah pada 1456-1477. Pada pertengahan penggal kedua tahun 1976, bangunan tambahan baru telah dibina mula digunakan. Bangunan tersebut menempatkan sebanyak lima buah bilik darjah, dua buah makmal sains, sebuah perpustakaan dan sebuah bilik sains rumah tangga. Malah, sebuah padang juga turut disediakan.
Pada pertengahan tahun 1987, jabatan Agama Islam Melaka telah meluluskan pembinaan sebuah surau sekolah. Surau ini kemudiannya telah dirasmikan oleh YAB Tn. Hj. Ahmad Abdullah, ahli Exco bahagian Agama Negeri Melaka. Pada penghujung tahun 1988, kantin sekolah telah diubahsuai untuk dijadikan separa-dewan sekolah. Pada pertengahan tahun 1991 sebuah bangunan baru telah dibina yang menempatkan 12 buah bilik darjah.
Sehingga tahun 2011, terdapat seramai 52 orang tenaga pengajar dengan 13 orang staf sokongan. Jumlah pelajar SMK Sultan Mansor Shah sehingga kini adalah seramai 733 orang.
