Atualização: No Raspberry Pi B+, caso as portas USB e ethernet não estejam funcionando, é necessário utilizar a última versão do Raspbian ou outros sistemas.
Antes de mais nada, jamais tente qualquer modificação no hardware para tentar contornar problemas, se nada der certo, acione a garantia! Se você se preocupa com isso faça como eu disse no post A saga de comprar um Raspberry Pi no Brasil e compre com nota fiscal.
Sem uma razoável fonte de energia, com tensão e correntes apropriadas, naturalmente que seu Raspberry Pi não irá funcionar corretamente, então primeiramente o que se deve fazer é trivial, testar com outra fonte.
Levando em conta que o problema pode ser algum dispositivo USB consumindo corrente demais, antes de ligar a placa desconecte qualquer dispositivo USB que tenha conectado e deixe somente cartão e monitor conectados.
Caso ao ligar a placa ela prossiga com o boot, o primeiro a se fazer é verificar quanto consomem os dispositivos USB usados, como dito no post Extensão USB com fonte para Raspberry Pi o Modelo B revisão 1.0 tem um limite de 100mA por porta, a revisão 2.0 apesar de ter retirado esse limite(com a retirada dos polyfuses que ligavam ao USB) ainda existe um polyfuse geral de 750mA, então você pode e vai ter problemas ao conectar dispositivos que consomem muita corrente, HDs externos nem pensar. Mas se os seus dispositivos estão dentro da margem e mesmo assim ao liga-los o Raspberry Pi não está dando boot ou apresenta outros problemas, teste com outra fonte.
Se houver energia, o led PWR vermelho sempre permanece ligado, mas não é indicação de que a placa está normal ou a fonte está dando conta do recado.
Se você é um usuário mais hardcore e tem um multímetro, teste a tensão entre os pontos TP1 e TP2 ilustrados abaixo, mas tome cuidado para não encostar ao mesmo tempo em outros contatos e seu Raspberry Pi virar pastel.