Se me ocurren dos posibles fallos:

La fuente: No es que sea mala o que esté fallando, quizá es insuficiente. Comentas que tienes una buena tarjeta gráfica, bastante RAM y que te falla cuando tiras de recursos. Prueba con otra fuente, no hace falta que sea de 600W, pero que tenga cierta reputación.

La placa: No que se encuentre estropeada, sin mal instalada y haga contacto en algún sitio en la caja.

La RAM: Podrías probar con la RAM vieja a ver si falla, igual la DDR3 no está bien instalada o no es compatible en todas sus frecuencias y por eso te falla. Como solución temporal prueba a restaurar la BIOS a los parámetros por defecto a ver si te quedó configurado algún parámetro de la DDR2 que lo le guste demasiado a la DDR3.

...y después de probar ésto nos comentas. Otra cosita, por probar, instala Linux o prueba con una Live Distro a ver si también te falla. Podría ser el SO.

Un saludo