Το Πόλι είναι ο αρχαιότερο οικισμός της Κάσου, κτισμένο σε οχυρή θέση, σε λόφο ύψους 200 μέτρων, με εξαίσια θέα προς το Αιγαίο Πέλαγος και προς τα λοιπά χωριά του νησιού.

Στην κορυφή του λόφου όπου βρίσκεται το σημερινό χωριό υπήρχε αρχαία ακρόπολη και στην περιοχή έχουν ανασκαφεί τάφοι του 4ου αιώνος π.Χ.

Εδώ βρέθηκαν και οι επιτύμβιες επιγραφές της εποχής, που σήμερα φυλάσσονται στην αρχαιολογική συλλογή στο Φρυ.

Στο Πόλι υπάρχει η βυζαντινή εκκλησία του Αγίου Ονουφρίου, που χρονολογείται από τον 12ο αιώνα και η οποία πιθανότατα κατασκευάσθηκε στον ίδιο χώρο και από υλικά μιας παλαιότερης παλαιοχριστιανικής βασιλικής.

Το 1912 το Πόλι ισοπεδώθηκε από καταστροφικό σεισμό και ξανακτίσθηκε.

Οι κάτοικοί του ασχολούνται ως επί το πλείστον με τη γεωργία και την κτηνοτροφία.