用于赌博的借款能以行为违法而拒绝返还吗

合法的民事权利受法律保护。但如果出借人明知借款人是为了进行赌博、走私、诈骗、买卖毒品或贩卖枪支等非法活动而仍借款的，则属于违法借贷，其借贷关系不受法律保护。
【法律依据】《民法典》第六百七十五条，借款人应当按照约定的期限返还借款。对借款期限没有约定或者约定不明确，依据本法第五百一十条的规定仍不能确定的，借款人可以随时返还；贷款人可以催告借款人在合理期限内返还。