Pejabat Tanah dan Galian Johor ditubuhkan berlandaskan Undang-Undang Tubuh Johor 1895, Perlembagaan Persekutuan (Senarai Kedua), Enakmen Suruhanjaya Perkhidmatan Awam Negeri Johor Bil.4 Tahun 1959 dan Kanun Tanah Negara 1965. Dalam Sek.12(1) Kanun Tanah Negara 1965, Pihak Berkuasa Negeri bolehlah melantik untuk negeri itu seorang Pengarah Tanah dan Galian, seorang Pendaftar Hakmilik, Penolong-peno
long Tanah dan Galian, Timbalan Pendaftar Hakmilik, Pentadbir-Pentadbir Tanah Daerah, Penolong-Penolong Pentadbir Tanah Daerah, Penolong Pegawai-Pegawai petempatan dan lain-lain Pegawai yang Pihak berkuasa fikir perlu. Sir Duke Abraham seorang warga British adalah Pengarah Pertama bagi Pejabat Tanah dan Galian Johor dengan pejabat pertamanya di Bangunan Sultan Ibrahim, Johor Bahru, Johor.Datoโ Zakaria Sulong adalah anak melayu pertama yang dilantik sebagai Pengarah Tanah dan Galian Negeri Johor. Pada awal tahun 1960an, kerajaan telah BERSETUJU untuk memisahkan pentadbiran antara Pejabat-pejabat Daerah dan Pejabat-pejabat Tanah. Antara tujuan pemisahan tersebut adalah kerana pejabat-pejabat tersebut mempunyai objektif dan fungsi yang berlainan. Peraturan, Undang-Undang dan bidang tugas yang digunapakai berbeza juga adalah antara sebab pejabat-pejabat tersebut dipisahkan. Sebab utama adalah untuk memudahkan urusan orang awam di samping penyampaian lebih mudah dan efektif kepada golongan sasaran. Negeri Johor mempunyai 4 Daerah pada asalnya iaitu Endau, Muar, Batu Pahat dan Johor Lama. Kemudian ia menjadi 8 daerah serta 5 daerah kecil di mana Pejabat Tanah dan Daerah diasingkan. Daerah-daerah tersebut ialah Johor Bahru, Muar, Batu Pahat, Segamat, Kluang, Kota Tinggi, Pontian dan Mersing. Daerah-daerah kecilnya p**a ialah Tangkak, Kulai, Rengit, Labis dan Pengerang. Pada tahun 2008, Negeri Johor melakar sejarah apabila 2 daerah kecil iaitu Kulai dan Tangkak telah dinobatkan sebagai daerah besar dan ditukar nama kepada Kulaijaya dan Ledang. Pada asalnya Pejabat Tanah dan Galian Johor ditempatkan di Bangunan Pejabat-Pejabat Kerajaan Negeri Johor di Jalan Bukit Timbalan Johor Bahru yang sekarang dikenali sebagai Bangunan Sultan Ibrahim. Mulai tahun 2009, Pejabat Tanah dan Galian Johor telah berpindah ke Bangunan Datoโ Muhammad Salleh Perang, Kota Iskandar setelah Kerajaan Johor menyediakan Pusat Pentadbiran Kerajaan Negeri yang baru bertempat dan dikenali sebagai Nusajaya, Johor Bahru.
