Di masa depan yang misterius, organisme kristal yang disebut Permata mendiami dunia yang telah dihancurkan oleh enam meteor. Setiap Permata ditugaskan untuk berperang melawan Lunar, spesies yang menyerang mereka untuk menghancurkan tubuh mereka dan menggunakannya sebagai dekorasi.

Phosphophyllite, juga dikenal sebagai Phos, adalah Permata muda dan rapuh yang bermimpi untuk membantu teman-teman mereka dalam upaya perang. Namun, mereka justru diminta untuk menyusun ensiklopedia karena kondisi mereka yang rapuh. Setelah dengan berat hati memulai tugas ini, Phos bertemu dengan Cinnabar, permata cerdas yang diturunkan untuk berpatroli di pulau terpencil di malam hari karena racun korosif yang dihasilkan tubuh mereka. Setelah melihat betapa tidak bahagianya Cinnabar, Phos memutuskan untuk mencari peran yang dapat dinikmati oleh kedua Permata yang ditolak tersebut. Houseki no Kuni mengikuti upaya Phos untuk menjadi berguna dan melindungi sesama Permata.