A primeira referência a um documento com funções semelhantes às do passaporte encontra-se no Antigo Testamento. Conta-se que um servo pede ao rei da Pérsia uma carta de autorização, um salvo-conduto, para viajar ao longo dos seus domínios. Há também registos de que no império muçulmano (século VII) era necessário um recibo de pagamento dos impostos para se poder viajar.

No século XVII as “cartas de passagem” concedidas pelo rei de França, Luís XIV (1643-1715), aos elementos da corte tornaram-se populares. A carta foi apelidada de "porte-passe", que significava autorização para passar pelos portões das cidades que eram fechadas e protegidas por muralhas. Mas foi a Revolução Francesa, em finais do século XVIII, que popularizou este documento: a instabilidade política francesa tornava necessário o controlo dos movimentos das pessoas, para evitarem conspirações e a fuga dos membros da nobreza sentenciados à morte na guilhotina. O aparecimento do Estado-nação (território soberano com fronteiras, moeda própria, forças armadas) e a expansão do caminho-de ferro no século XIX, o aumento da mobilidade e da capacidade de atravessar as fronteiras tornaram necessário um documento mais eficaz para o controlo dos viajantes. O passaporte incluía já a descrição do seu detentor (sexo, altura, estatura, cor dos olhos e do cabelo) além da assinatura pessoal, mas cada país tinha um documento diferente. Durante a Primeira Guerra Mundial, por motivos de segurança, passou a ser obrigatório o uso de passaporte para atravessar as fronteiras. Em 1920, a Liga das Nações, precursora da ONU, criou um conjunto de orientações para a emissão de passaportes em que a existência de fotografia passou a ser obrigatória, embora sem regras específicas: podia ser de corpo inteiro, em grupo ou até de família.

Actualmente, a fotografia é um dos elementos com mais requisitos: tem de ser a cores, face de expressão neutra, não pode ter fundo branco nem vestir-se roupa branca, tem de ter um tamanho específico, uma orientação obrigatória, pouca ou nenhuma maquilhagem, etc. Só nos anos 80 a proposta das Nações Unidas de padronização dos passaportes em todos os países começou a ser posta em prática. Hoje, os passaportes são documentos electrónicos de alta tecnologia, com um design exigente e múltiplas e complexas características de segurança desde micro-impressões, hologramas, tinta ultravioleta, páginas laminadas, chip electrónico com dados encriptados, marcas d'água, entre outras. O e-passaporte actual pode incluir até 30 características de segurança, algumas só conhecidas pelo país emissor do passaporte.