+-
Python 处理亿级数据量有什么方案?

最近遇到一个问题,要把2亿多的数据插入到 ES 中。

现在的方案是:生成器分段读取文本内容,再对每行内容进行处理,放入到一个列表

ES 方面是循环这个列表,每次取 500 条批量插入到 ES 中
以上方案速度巨慢,跑了一两个小时才1900万,不到2000万,请问这种情况有什么好的方案?