Abercrombie werd in 1892 opgericht door David Abercrombie in New York. Het is een klein winkeltje gespecialiseerd in hoogwaardige outdoor kleding en visserij- en jachtkleding. In 1904 werd de winkel omgedoopt tot Abercrombie & Fitch als gevolg van het nieuwe partnerschap met Lawyer Erza Fitch.