A implementação da aplicação deve começar por concretizar o "caminho feliz mais simples". A partir deste momento é possível incorporar os testes no ciclo de desenvolvimento: codificar, compilar, testar, executar. Ou seja, os testes são sempre executados, em todas as compilações.
Tal como os erros de compilação devem ser logo corrigidos, os erros nos testes existentes devem ser vistos de forma idêntica, e proceder-se também à identificação e correcção do problema.
E quem garante que os testes não têm erros? :-)
O código de um teste deve ser tão simples que é óbvio que está certo.
O código de um teste pode ser tão complicado que é óbvio que está errado.
--
Aprender mais sobre o assunto no blog do Nuno Marques (em inglês).
(in English)