На рубеже 2003/2004 года Пит Доэрти покинул свою первую группу The Libertines и основал собственный коллектив, Babyshambles. Их дебютный альбом Down in Albion был задуман Питом, как рассказ о красоте и чудовищности, полностью противоречащий по своему звучанию стилю The Libertines[1]. Обложка альбома была нарисована лично Доэрти. Down in Albion сопровождался тремя синглами: «Killamangiro», «Albion» и «Fuck Forever». Первые два достигли 8-й строчки[2][3] в британском хит-параде UK Singles Chart, третий — 4-й строчки[4]. Сам альбом занял 32 место в списке «50-ти самых наркотических альбомов» (англ.50 Druggiest Albums Ever) по версии журнала New Musical Express[5].
Обозревательница Allmusic Хизер Фарес поставила альбому среднюю оценку 2.5 из 5. Фарес написала что «на протяжении всей своей карьеры Пит Доэрти всегда удивительно честно черпал вдохновение из самоуничтожения», отметила «задумчивые наркотические сказки» «Pipedown» и «8 Dead Boys», «нигилистически-романтические» «Fuck Forever» и «Loyalty Song», но в целом описала Down in Albion как «перегруженный сырыми песнями» и «не запоминающийся» альбом[6]. Критик Pitchfork Рэйчел Конг оценила альбом на 7.7 из 10. Она отметила влияние творчества The Clash в таких песнях как «The 32 of December» и «Killamangiro», а также написала, что в Down in Albion «Пит Доэрти присвоил Альбион Уильяма Блейка, с его мотивами смерти, наркотиков и секса»[7]. Рецензент The Guardian Дориан Лински поставил альбому 3 из 5 и описал его как «фэнтезийный мир, в котором Пит Доэрти берёт на себя роль развратного эстета и капризного летописца старого доброго Альбиона». Автор также отметил, что Down in Albion, «как и его создатель, не лишён эксцентричного шарма»[8].
Все песни написаны Питом Доэрти, за исключением: «La Belle et la Bête», «Sticks and Stones», «Back from the Dead» — Доэрти с соавторстве с Питером Вульфом, «Fuck Forever», «Pipedown», «Loyalty Song» — Доэрти в соавторстве с Патриком Уолденом, и «What Katy Did Next» — Доэрти в соавторстве с Аланом Уоссом.