Помимо сколов ядра (если сами не можете понять - давайте сюда картинку в хорошем качестве), проверки контактов PCI-E разъёма на мат.плате и видеокарте, замера напряжения на разъёме питания PCI-E, я бы обратил внимание ещё на SMD конденсаторы, отвал одного из них обычно даёт схожие симптомы: