有給休暇を取ろうとしたら、派遣先の会社から「今休まれたら困る」と言われてしまいました。

派遣先には年次有給休暇の時季変更権はありません。

　派遣労働者が年次有給休暇を取得する場合、まず派遣元に申し出、派遣元から派遣先に連絡が入ります。使用者には、業務の正常な運営に支障が出る場合に年休取得日を変更する権利（時季変更権）がありますが、それを持っているのは派遣元だけです。派遣先が年休取得に口を挟むことはできません（派遣先の業務への影響については、代わりの労働者を派遣するなど、派遣元と派遣先の間で調整すべきことです）。