怎么用python快速读取几G以上的大文件

已举报 回答
怎么用python快速读取几G以上的大文件
问在线客服
扫码问在线客服
  • 回答数

    5

  • 浏览数

    1,592

5个回答 默认排序
  • 默认排序
  • 按时间排序

已采纳
如果你没那么大的内存 解决方法有几个:
使用swap 一次性read()读取
系统层面分割大文件为数个小于系统内存的小文件,分别读取
使用python 按数据大小逐块读取,使用完数据即释放该部分内存:

while True: chunk_data = file_object.read(chunk_size) if not chunk_data: break yield chunk_data
取消 评论
卸载重装,再试试。网络问题
取消 评论
with open('a.txt','r') as f0:
for i in f0:
tmp=i.split()
print tmp[1],tmp[-1]
取消 评论
肯定可以,使用open函数读取文件,然后就可以操作这个文件了,类似C语言的fopen
取消 评论
假设D盘有一个a.txt文件。那么py程序可以如下:
# _*_ coding: utf-8 _*_
#上面一行确保utf-8编码,汉字支持。

#下面就是核心语句,用了try-finally确保文件最后被关闭
fileobj = open('D:\\a.txt', 'r') #需要两个\\,或者用原始字符串,在引号前面加r
try:
strings = fileobj.read()
finally:
fileobj.close()

#可以用print查看结果。
print strings
取消 评论
ZOL问答 > 怎么用python快速读取几G以上的大文件

举报

感谢您为社区的和谐贡献力量请选择举报类型

举报成功

经过核实后将会做出处理
感谢您为社区和谐做出贡献

扫码参与新品0元试用
晒单、顶楼豪礼等你拿

扫一扫,关注我们
提示

确定要取消此次报名,退出该活动?