这天上午，河下谷清告别家人，满心欢喜地登上了开往北方某地的列车。他不知道，与他同车厢的几位看上去也是去外地出差的干部模样的旅客，就是对其执行逮捕命令的特别调查小组侦查员。
列车驶离上海北站，不多久就抵达了上海市郊的一个小站——安亭。列车进站前，侦查员对河下谷清实施了逮捕，随即就把他押下火车，上了早已停在安亭车站的吉普车，押回上海。
上海市公安局随即向最早揭发河下谷清是日本帝国主义特务分子的徐永卿书面通报了这一情况。不久，黄赤波局长又乘去南京开会的机会当面向许世友通报了侦查并逮捕河下谷清的一应情况。
河下谷清被捕后，最初拒绝交代其罪行，但在办案人员耐心教育下，最后终于表示认罪。河下谷清被捕伊始，由于拒绝交代自己的罪行，跟公安机关预审人员整整打了三个多月的交道。
在这段时间里，河下谷清从预审人员嘴里偶然得知我公安机关伸向他的侦查触角是从许世友将军批示的一封函件上开始的。作为一名抗日战争时期在济南地区活动的日本特工，河下谷清当然知晓当时就已经赫赫有名的八路军胶东军区司令员许世友，他还曾经布置手下人秘密收集过许世友的情报，却没有料到自己竟然就栽在这位充满着传奇色彩的将军手里，内心不禁感慨万分。
不久，上海市中级人民法院依法判处河下谷清无期徒刑。河下谷清表示服判，放弃上诉。河下谷清在上海市虹口区提篮桥的上海市监狱服刑。
尽管河下谷清被捕前持有中国户籍，但法院认定这是他为执行日本**的使命而以隐瞒、欺骗手段所获得的，因此仍旧视其为日本人，便将其囚于专门关押外籍犯的监区进行改造。
河下谷清寻思自己被判的是无期徒刑，每每念及，总觉此生无望，万念俱灰。跟河下谷清一起关押的是一个也被判了重刑的对于佛教颇有研究的缅甸犯人，见他如此消沉，就劝他跟着他学些佛教知识。
河下谷清实在无所事事，于是就试着开始接触佛教。河下谷清就在1959年到1966年这几年间跟着那个缅甸犯人学了些佛教知识。此后竟然就着了迷似的一头钻了进去，一边学一边悟，最后悟到了自己的犯罪行为以及被捕受惩的情况，寻思这真正叫“因果报应”，也逐渐气顺心平了。
这样，河下谷清在监狱里倒还能够遵守监规，服从管教，积极劳动。1977年3月，上海市高级人民法院下达刑事裁定书，认定河下谷清在服刑期间能遵守监规，服从管教，有认罪悔改表现，依据《中华人民共和国劳动改造条例》第六十八条第一款之规定，依法裁定将河下谷清由无期徒刑改判有期徒刑三年。
1977年8月10日，上海市高级人民法院再次下达刑事裁定书，宣布对河下谷清减去余刑，提前释放。河下谷清出狱后，原本应该限期离境返回日本的。但当时他并没有日本护照，从日本的法律来看他还不是日本公民，日本方面会拒绝允许其入境。
而且，他的中国籍妻子还没有跟其离婚，于是，中国公安机关就允许河下谷清暂时居住在上海其妻子处。当时，河下谷清在国籍问题上有两种选择，一是向中国**提出申请，要求加入中国国籍，取得在上海合法居住的资格；一是向日本驻上海领事馆提出申请，请求恢复日本国籍，返回日本定居。
根据日本当时法律的规定，河下谷清的这种因战争遗留下的情况，可以作为特例处理，其在中国的妻儿如有加入日本国籍意愿的，也可以提出申请。河下谷清经过一番考虑，又跟妻子儿女进行了充分沟通，最后决定全家都去日本。