INT0の割込みで質問です。

以下のようにプログラムを書いてます。
INT0端子にタクトSWをつなぎ、SWを押下するとLEDが点滅します。

しかし、リセット直後はSWを押下してないにもかかわらず必ずLEDが点灯します。
INT0割り込みがかかっています。
なぜでしょうか？

#define LEDPORT PORTB5 // LEDポート(out)

void setup(){

// ポート初期化
DDRB = B00100000; // LED出力ポート
DDRD = B00000000; //
PORTD = B00000100; // 内部プルアップ

PORTB &= ~_BV(LEDPORT); // LED OFF

EICRA = B00000001;
EIFR = B00000000;
EIMSK = B00000001;

}

ISR( INT0_vect ){
PINB |= _BV(LEDPORT); // LED ON
}

void loop(){
}