2020年6月9日,渡部建在其主持的直播节目《Hirunandesu》中,主动提出暂停主持节目等所有工作,原因是出现了丑闻；6月10日,其所属事务所“人力舍”就渡部一事发表正式声明,称暂时停止渡部建的演艺活动。渡部建将于2022年2月15日播出的《白アンジャッシュ》回归电视节目。
2017年4月9日,渡部建和佐佐木希联名通过事务所公布了结婚的消息,在当日的日本台综艺节目《行列法律相谈所》直播中,他还与佐佐木希通电话,称求婚情话是“必须活得久”,观众赞两人很有爱。2018年2月28日,佐佐木希在社交平台上向粉丝们公布怀孕的喜讯；同年9月13日,其与妻子佐佐木希的儿子出生。2022年11月17日,妻子佐佐木希官宣怀二胎。2023年4月27日,据日媒,渡部建妻子佐佐木希晒出两颗爱心宣布二胎得子。
2020年6月9日,渡部建在其主持的直播节目中主动提出暂停主持节目等所有工作,原因是出现了丑闻。6月10日,渡部建被曝与多名女性不伦还和AV女优密会,其出轨对象除了AV女优外,还包括普通公司职员,女歌手,他至少同时劈腿6女。据悉,渡部建在与佐佐木希交往时就同时还和多名女性保持关系,在结婚后及长男出生后,他的生活态度也并没有改变。随后,他本人通过事务所向大众承认出轨事实并道歉,称已经向妻子说明并且谢罪,其所属事务所也宣布暂时停止渡部建的演艺活动。9月25日,渡部建主持的广播节目《GOLDRUSH》迎来最终回。