スイッチのON/OFFにともなってコイルに流れる電流は直線的に上下する。

その最大値と最小値の「差」は、入力電圧、出力電圧、インダクタンスで決まる。
最大値と最小値の差はインダクタンスが大きいほど小さくなる。

降圧電源の場合、最大値と最小値の中間が出力電流。
たとえば、最大値と最小値の差が200mAであるとき出力電流が0.5Aなら、最大値は0.6A、最小値は0.4A…(1)
同様に、最大値と最小値の差が200mAであるとき出力電流が0.1Aなら、最大値は0.2A、最小値は0A…(2)
つまり…、(1)のように十分な出力電流を流したときに最大値と最小値の差が200mAとなるようなインダクタンスを選んだとき、
出力電流が0.1Aより小さくなると、スイッチングレギュレータは綺麗な電流の上下をする連続モードを取れなくなる。

少なくとも、スイッチ、ダイオード、コイルで構成される降圧電源では、不連続で動作するモードになるのが普通だと思う。
本来、非常に高い周波数でスイッチするはずの電源が、不連続でスイッチする結果、電源には、本来のスイッチ周波数よりもずっと低い周波数のノイズが乗ることになる。

ということで、低消費電力な特にオーディオ機器では、不用意に小さいインダクタは選ぶべきではないです。