В веб-интерфейсе TeamCity кнопка Restart Server находится на странице Administration | Diagnostics. Если вы загрузите или отключите какой-либо плагин на странице Administration | Plugins, TeamCity предложит вам перезапустить сервер: в верхней части страницы появится кнопка Restart server to apply the changes. Перезапустить сервер также можно из командной строки: следуйте этой инструкции.
Во время перезапуска сервера агенты продолжают выполнять начатые сборки, а их результаты загрузятся на сервер, как только он снова появится в сети.