Mudar as portas só atrasa um bocadito, basta usares o nmap consegues fazer um scan total das portas abertas...
Mas sim, vale a pena mudar, até porque muitos serviços apenas procuram por portas comuns, tipo 21, 22, 80, 443, 3306, 5432, entre outras...
Como o @THEGAMER disse, utilizar uma chave privada para autenticação SSH (e para o Túnel SSH para a base de dados) é uma das melhores opções mas, para iniciantes, é mais complicado de dar setup...