Família de origem italiana, da cidade de Cremona, ducado de Milão, fixou-se em Lisboa, no final do século XV através de João Francisco Lafeitar, nome que viria a ser aportuguesado para Lafetá. Dedicou-se ao comércio de produtos provenientes da India para o norte da Europa. Em 1502 armou uma das naus que participou na segunda armada de Vasco da Gama. No reinado de D. Manuel, os Lafeitar partilharam com outra família italiana o monopólio da venda de especiarias nos Países Baixos.
Já no reinado de D. João III foi agraciado com a categoria de fidalgo. De Dona Maria Gonçalves teve um filho, Cosmo de Lafetá, que foi o primeiro dono da Quinta do Cosmo, edificada em 1556 em Galamares. Este desempenhou alguns cargos na India como o de capitão-mor no cerco de Chaul, em 1571. Do casamento com Dona Joana de Noronha nasceu Cosmo de Lafetá que em 1598 partiu para Oriente comandando a nau S. Simão. Nesse ano foram-lhe, também, concedidas as capitânias de Sofala e Diu.
De acordo com José Alfredo da Costa Azevedo houve uma relação entre esta família e os Condes de Soure, que usaram o apelido Sousa a partir do terceiro conde e mantiveram a posse da Quinta em Sintra até ao século XIX. Por seu turno, o sétimo conde, nascido em 1798, usou o nome de Henrique José da Costa Carvalho Patalim Sousa e Lafetá.