python同时读写多个文件暨大型json文件读取方法

Python018

python同时读写多个文件暨大型json文件读取方法,第1张

最近处理NLP数据集时,需要一边读json文件,一边向自己创建的txt写入提取出的对话数据集,即同时读写多个文件,本来记得以前在哪看过这波操作的,但时间有点久了,忘了。

又由于新换了mac,win上原有的梯子挂了,这就很离谱,因此也没法谷歌,只能用百度凑合着查了一番,看看有没有大佬记录了这个小tip。但是很遗憾,网上找到的方法都很捞,简直是海底捞,没办法。好在脑子里还有点印象,修修改改总算写出来了,在此做个记录,同时也开源方便一下诸位道友

你是不是觉得我很捞,很菜,连个文件读写都不会~

那么,对不起,诸位,现在,我要起飞了,你以为你是第二层,我是第一层,实际上,我在第五层,且看我写给你看~

最后,如果有道友对俺的开放域对话数据集感兴趣,这个其实也是开源的

数据集链接

其实很简单啊,不过这里我说不清楚,我就说一个思路好了 FileStream不一定局限于txt,所以你用Directory.GetFiles获取文件名,然后直接用FileStream读取就可以了 对于每一个FileStream用StreamReader读取 读取行数直接用StreamReader的ReadLine就可以