山羊は悪魔でなく、罪を背負わされた時に
（罪を身に被ったときに９悪魔になったと考えられて、
罪の源である荒野の超自然的存在（アザゼル）に
悪魔＝罪を返却する役目なのです。
それを短縮して悪魔のヤギと言われたのです。

アザゼルと悪魔のヤギは別ですが、
罪の源と罪を被った状態の近似があります。