Diz a lenda que um fidalgo chamado Martim de Sousa viveu o pouco tempo da sua vida batalhando por Portugal nas hostes de Mestre de Avis e de Nun'Alvares, até que, em Aljubarrota, perdeu a vida às mãos dos castelhanos.
Martim de Sousa estava apaixonado por uma donzela, filha do castelão D. Lopo Soeiro, rico homem de Viseu. Na véspera da partida para a batalha de Aljubarrota, encontraram-se os dois namorados sob o «Castanheiro dos Amores». Era noite e era a hora em que a treva é mais densa e pelo espaço imenso do silêncio transcorrem os duendes fugitivos. Junto ao castanheiro choravam abraçados e soluçantes os namorados.
A bela pedia a Martim que mal terminasse a luta voasse até ali, aos pés da velha árvore, a restituir-Ihe a vida que ele levava consigo para os campos de batalha. E Martim, desapertando o pelote, colocou a mão trémula da sua amada sobre o coração jurando solenemente cumprir o que lhe pedia.
Pelejou-se a batalha, mas Martim de Sousa não voltou porque seu corpo ficou perdido entre os muitos caidos naquele campo. Todavia, cumpriu-se o juramento: volvido urn ano, o fantasma do cavaleiro apaixonado apareceu alta noite, à mesma hora, no «Castanheiro dos Amores». E todos os anos, naquele dia, tornou à velha arvore, tantos os anos quantos demorou a donzela a juntar-se-lhe no Céu. Dava sempre três voltas em derredor da árvore sagrada e chamava soluçante pela filha de D. Soeiro.
Fernanda Frazão, Lendas Portuguesas, Amigos do Livro Editores