Swan Songs: Rarities EP состоит из трёх песен, которые были загружены на страницу группы в MySpace ещё до выхода их дебютного альбома, Swan Songs. Песня «The Kids» является первой песней из когда-либо написанных группой. Она была загружена на страницу Deuce в MySpace ещё в 2005 году.
Гитарная партитура песни Circles полностью повторяет клавишную партитуру песни New Born группы Muse, которая была записана на 10 лет ранее.