数据处理经验总结·大数据文件处理参考值

• 2020 年 2 月 18 日
• 筆記

打印在控制台的字符串类型如果两边带有引号的话，说明字符串存储的时候就有引号。

经验：在对大测试数据进行转化前，先自己编写样例数据文件，确保样例数据文件对所有测试对象（数据库）能跑通，本质上是确保1、原始数据能够转换出我们要的各种数据；2、转换出的各种数据能够适用各种对象，关键是1，然后再编程对大测试数据进行统一转化。

三元组语义网数据处理时间和资源估算

4g文本文件，Java按行读写进行简单处理大约需要2.5天。

4g文本文件，56GB系统内存，20GB堆内存。 全部先读入List<String[]>,一行对应一个String[],读入阶段CPU使用100%，然后所有List<String[]>里的内容进行简单处理后拼接进入一个StringBuilder(). 在整个过程的某个阶段，会OutOfMemory.