複数の人と話すのが苦手で、話に入れないと拗ねてしまいます。

例えば、aさんに話しかけて最初の内はaさんと私で話しますが、すぐにbさんが話に入ってきていつの間にかaさんとbさんで話し込んでることが何回かあります

こんな時、悪気ないし話に入れない自分が駄目なんだと思いつつもうaさんに話しかけないとか、aさんから話しかけられても空返事だけですぐ話し終わらせるとかしてしまいます。

結構頻繁にあることで、自分が入れないと本当に嫌になりますが、直した方がいいですよね？
周囲と打ち解ける必要あるのにこんなことしてたら逆効果でしょうか？