Ia adalah putera tertua Maulana Malik Ibrahim. Menurut Babad Tanah Jawi dan Silsilah Sunan Kudus, di masa kecilnya ia dikenal dengan nama Raden Rahmat. Ia lahir di Campa pada 1401 Masehi. Nama Ampel sendiri, diidentikkan dengan nama tempat dimana ia lama bermukim. Di daerah Ampel atau Ampel Denta, wilayah yang kini menjadi bagian dari Surabaya (kota Wonokromo sekarang).
Beberapa versi menyatakan bahwa Sunan Ampel masuk ke pulau Jawa pada tahun 1443 M bersama Sayid Ali Murtadho, sang adik. Tahun 1440, sebelum ke Jawa, mereka singgah dulu di Palembang. Setelah tiga tahun di Palembang, kemudian ia melabuh ke daerah Gresik. Dilanjutkan pergi ke Majapahit menemui bibinya, seorang putri dari Campa, bernama Dwarawati, yang dipersunting salah seorang raja Majapahit beragama Hindu bergelar Prabu Sri Kertawijaya.
Sunan Ampel menikah dengan putri seorang adipati di Tuban. Dari perkawinannya itu ia dikaruniai beberapa putera dan puteri. Di antaranya yang menjadi penerusnya adalah Sunan Bonang dan Sunan Drajat. Ketika Kesultanan Demak (25 kilometer arah selatan kota Kudus) hendak didirikan, Sunan Ampel turut membidani lahirnya kerajaan Islam pertama di Jawa itu. Ia pula yang menunjuk muridnya Raden Patah, putra dari Prabu Brawijaya V Raja Majapahit, untuk menjadi Sultan Demak tahun 1475 M.
Di Ampel Denta yang berawa-rawa, daerah yang dihadiahkan Raja Majapahit, ia membangun dan mengembangkan pondok pesantren. Mula-mula ia merangkul masyarakat sekitarnya. Pada pertengahan Abad 15, pesantren tersebut menjadi sentral pendidikan yang sangat berpengaruh di wilayah Nusantara bahkan mancanegara. Di antara para santrinya adalah Sunan Giri dan Raden Patah. Para santri tersebut kemudian disebarnya untuk berdakwah ke berbagai pelosok Jawa dan Madura.
Sunan Ampel menganut fikih mahzab Hanafi. Namun, pada para santrinya, ia hanya memberikan pengajaran sederhana yang menekankan pada penanaman akidah dan ibadah. Dia-lah yang mengenalkan istilah "Mo Limo" (moh main, moh ngombe, moh maling, moh madat, moh madon). Yakni seruan untuk "tidak berjudi, tidak minum minuman keras, tidak mencuri, tidak menggunakan narkotik, dan tidak berzina."
Sunan Ampel diperkirakan wafat pada tahun 1481 M di Demak dan dimakamkan di sebelah barat Masjid Ampel, Surabaya.