給与明細を渡さない場合は所得税法違反で、1年以下の懲役か50万円以下の罰金。

所得税法
第二百三十一条 　居住者に対し国内において給与等、退職手当等又は公的年金等の支払をする者は、
財務省令で定めるところにより、その給与等、退職手当等又は公的年金等の金額その他必要な事項を記載した支払明細書を、その支払を受ける者に交付しなければならない。

第二百四十二条 　次の各号のいずれかに該当する者は、一年以下の懲役又は五十万円以下の罰金に処する。
七 　第二百三十一条第一項
（給与等、退職手当等又は公的年金等の支払明細書）に規定する支払明細書を同項に規定する支払を受ける者に同項の規定による交付をせず、
若しくはこれに偽りの記載をして当該支払を受ける者に交付した者又は同条第二項の規定による電磁的方法により偽りの事項を提供した者