I am not an expert in pre-Islamic Arabia, but I do have some knowledge of the area; as I recall, the Kaa'ba was already a sacred artifact in the Arabian peninsula centuries before the rise of Islam, and the Koran makes it fairly clear that non-muslims in the area considered it sacred themselves, otherwise they wouldn't have 'profaned' the artifact with idols. So I would conjecture that the reason it is important to Islam is because it was already a prominent feature of Arabian culture and imagination; despite its evangelical intentions there are clear footprints of a distinctively Arabic perspective of the world in Islam. But I would take my own analysis here with a grain of salt, I am only really familiar with Arabian culture through its contact with others such as the Assyrians, Babylonians and Romans. 

Or pinch of sand for that matter.
මම ප්‍රාග්-ඉස්ලාම් අරාබියේ විශේෂඥයෙක් නොවෙමි, නමුත් මට ප්‍රදේශය ගැන යම් දැනුමක් තිබේ; මට මතක ඇති පරිදි, Kaa&#39;ba යනු ඉස්ලාම් ආගමට සියවස් ගණනාවකට පෙර අරාබි අර්ධද්වීපයේ පූජනීය කෞතුක වස්තුවක් වූ අතර, එම ප්‍රදේශයේ මුස්ලිම් නොවන අය එය තමන් විසින්ම පරිශුද්ධ ලෙස සලකන බව කුරානය මනාව පැහැදිලි කරයි, එසේ නොවුවහොත් ඔවුන්ට &#39; පිළිම සහිත පුරාවස්තුව අපවිත්‍ර කළා. එබැවින් එය ඉස්ලාමයට වැදගත් වීමට හේතුව එය දැනටමත් අරාබි සංස්කෘතියේ සහ පරිකල්පනයේ කැපී පෙනෙන ලක්ෂණයක් වූ නිසා යැයි මම අනුමාන කරමි. එහි එවැන්ජලිස්ත අභිප්‍රායන් නොතකා ඉස්ලාමයේ ලෝකය පිළිබඳ සුවිශේෂී අරාබි ඉදිරිදර්ශනයක පැහැදිලි අඩිපාරවල් තිබේ. නමුත් මම මෙහි ලුණු කැටයක් සමඟ මගේම විග්‍රහයක් ගන්නෙමි, මට අරාබි සංස්කෘතිය සැබවින්ම හුරුපුරුදු වන්නේ ඇසිරියානුවන්, බැබිලෝනියානුවන් සහ රෝමවරුන් සමඟ එහි සම්බන්ධතා හරහා පමණි. නැත්නම් ඒ සඳහා වැලි මිටියක්.