Peter Gun & The Paper Hats tienen influencias musicales muy diferentes, pero todos sus componentes comparten el gusto por la música de principios del S.XX. Nacieron como una banda homenaje a las Boswell Sisters, y actualmente se encuentran trabajando en temas propios.