Das große Problem ist: Es sind ja nicht nur deine Daten. In deinem Adressbuch sind eben auch die persönlichen Daten deiner Freunde, Bekannten, Kollegen, Verwandten...
Wenn du deine Kontaktdaten irgendwo hoch lädst ist das deine persönliche Sache, damit habe ich kein Problem. Wenn du aber meine Kontaktdaten zu Furz-App-XY hoch lädst, und ich dann den Spam dafür bekomme, ist das eben wieder eine ganz andere Sache.