すいません、上の図はなかったことに
これでいかがでしょうか?

              +(3V*2直列)
    ┌─────電池──────┐
    │                    │
    │                       /   ←スイッチ
    │                    │
    │                    □    ←DC/DCで5Vに降圧
    │                    │
    │                    ▽    ←ダイオードで降圧
    │                    │
┌─┴─┐                │
│      │                │
│...M34.. ├───────────┤
│      │                │
└─┬─┘                │
    │                    │
    │                    │
    │                    │
    │                    │
    └────★───★────┘    ←LED(2.1V20mAぐらい?)*2