Filateli boleh ditafsirkan sebagai mengumpul dan menyusun bahan-bahan pos seperti setem-setem bayaran pos, laluan-laluan pos, surat-surat, sampul-sampul dan sebagainya. Koleksi ini, sama ada setem, sampul dan sebagainya lazimnya, didokumenkan untuk tujuan mengesan acara-acara utama yang bersejarah dan acara-acara lain.

Tidak dapat dibuktikan bila filateli mula-mula dijadikan sebagai satu hobi kerana tidak ada sebarang dokumen untuk mengesahkannya. Namun, apa yang pasti ialah filateli hanya bermula setelah setem-setem bayaran pos diperkenalkan pada 1840. Pengenalan Album setem yang diperkenalkan telah memudahkan koleksi setem. Album pertama dihasilkan di England pada 1852. Apabila lebih banyak setem-setem bayaran pos didapati, maka hobi mengumpul setem menjadi agak biasa. Bertambah ramai orang menaruh minat dalam hobi mengumpul setem dan filateli kemudiannya mula berkembang.

Ramai pengumpul-pengumpul setem yang serius muncul dan salah satu koleksi setem terbesar dan tertua di dunia adalah dimiliki oleh Ratu England. DYTM Raja Muda Selangor juga ada memiliki koleksi setem yang baik.

Perkataan "filateli" dikatakan telah dicipta di Perancis oleh Georges Herpin pada 1864. Ia berasal daripada dua perkataan Yunani: "philos" bermakna mengasihi dan "llateleiall" bermaksud bebas daripada pembayaran. Pada asalnya filateli lebih terbatas kepada kajian label-label, melambangkan pembayaran untuk perkhidmatan pos. Daripada sini, ia diperluaskan untuk merangkumi kajian mengumpul setem bayaran pos secara sistematik, poskad, sampul surat pos, tanda pos dan bahan-bahan pos yang lain.