Você encontra o botão Restart Server na página Administration | Diagnostics na interface Web do TeamCity. O TeamCity também oferecerá a opção de reiniciar o servidor se você carregar ou desabilitar um plug-in na página Administration | Plugins: o botão Restart server to apply the changes aparecerá no topo da página. Também é possível reiniciar o servidor do TeamCity a partir da linha de comando: pare e inicie-o conforme descrito neste artigo.
Durante a reinicialização do servidor, os agentes continuarão executando os builds que já foram iniciados e carregarão os resultados desses builds no servidor assim que ele voltar a ficar online.