それ定格3Vのモーターだね。スマホ充電器は5Vだから定格オーバー。動くけどモーターが無理してる。
モーターを5V以上のものにするか、スマホ充電器の5Vを3Vに落とす。
簡単なのは

・定格5Vのモーターを選ぶ
・モーターの定格電流もスマホの充電器の定格（1Aとか2Aとか書いてある）以下のものを選ぶ。
・モーターと並列にダイオードを付ける。以下参照
http://pelab.nagaokaut.ac.jp/~nagayosi/robocon/motordrive/motordrive.html
https://static.rcgroups.net/forums/attachments/9/4/7/4/0/a896910-24-diode_motor.jpg

あとは専門家の人、補足して下さいw