Depois de alguns confrontos com tribos índias, Joe e os colegas acabam recebidos de forma amigável pelo grande chefe Kiapilano. Será este a abençoar o casamento do português com a sua neta Khaltinaht - uma "rapariga bonita com olhos escuros e cabelo até à cintura", como o próprio Joe a descreveria anos mais tarde. A filha, Elizabeth, foi a primeira criança de sangue europeu nascida em Vancouver. E Joe acabou por se tornar, em 1867, o primeiro europeu a receber a nacionalidade canadiana. Instalado em Gastown, o português abriu um saloon chamado The Hole in the Wall (O Buraco na Parede), onde tinha como principais clientes os trabalhadores das primeiras fábricas da cidades que ainda estava a nascer.
Após o nascimento do segundo filho, Khaltinat morre de gripe. Devastado, Joe vendeu o saloon e instalou-se em Stanley Park, onde hoje se pode ver a estátua em sua homenagem esculpida pelo trineto Luke Marston. Aí dedicou-se à pesca, tendo sido o primeiro a conseguir uma licença oficial para pescar com a técnica da rede de cerco.
Terá sido numa das suas muitas viagens que Joe conheceu Kwatleematt, uma índia salish também conhecida como Lucy. Casaram-se e tiveram dez filhos até à morte do português, em 1902. Nos últimos anos de vida, o açoriano mudou-se de novo, desta vez para Reid Island, onde comprou um vasto terreno. A pesca continuou a ser o seu sustento, tornando-se bastante bem-sucedido e não hesitando em partilhar o peixe com os mais pobres e tendo ajudado a construir uma escola para os seus filhos e para os do resto da comunidade.
O trineto índio do Portuguese Joe que foi do Pico para o Canadá
Hoje, estima-se que haja entre 500 e mil (as fontes divergem) descendentes vivos do Portuguese Joe. A vida deste pioneiro da ilha do Pico inspirou à historiadora Jean Barman o livro The Remarkable Adventures of Portuguese Joe Silvey (As Notáveis Aventuras do Português Joe Silvey) mas também pode ser vista no documentário televisivo Portuguese Joe - o Pioneiro Esquecido, que em 2015 foi exibido no Museu do Pico.