O partido federalista estava em declínio após seu sucesso inicial. Isso se deve ao fato de que seu primeiro candidato foi George Washington, herói de guerra e da Virgínia que era igualmente aceitável tanto para o Sul quanto para o Norte.
O próximo porta-estandarte do partido, John Adams, quase não bateu Jefferson republicano-democrata em 1796, e tudo foi em declive a partir daí. Adams venceu cinco estados da Nova Inglaterra, mais quatro dos cinco estados "Midatlantic" --- Nova York, Nova Jersey, Delaware e Maryland, mas ainda prevaleceu apenas com votos decisivos dos estados de Jeffersonian da Pensilvânia, Virgínia e Carolina do Norte. No re-match de 1800, Jefferson venceu Maryland e Nova York, pondo fim às presidências federalistas.
Nas campanhas de 1804 e 1808, os federalistas venceram apenas os estados da Nova Inglaterra, neste último (melhor) caso , apenas os estados costeiros de Massachusetts, New Hampshire, Connecticut e Rhode Island. Em 1812, eles pareciam desfrutar de um renascimento, vencendo Nova York, Nova Jersey e Delaware, mas apenas porque o ex-governador de Nova York, DeWitt Clinton, liderou a chapa.
O golpe final para os federalistas veio durante a Guerra de 1812, quando os quatro estados costeiros da Nova Inglaterra (a base do partido) foram suspeitos de não apoiarem o esforço de guerra e desejarem assinar uma paz separada com a Grã-Bretanha.