memoryboxes blog
http://memoryboxes.github.io/-
指数ETF漫谈
以下全是个人偏见，记录下看看将来会不会有所成长。 散户跑赢市场的唯一机会就是指数基金 目前曾经投过的几个指数挨个来数一数: 美国市场 博时标普500ETF(513500) 成立时间早，管理费0.6%，托管费0.25%；池子小(4.5亿)，受外汇政策影响大，目前美股的市盈率在高位，小散投资他 的唯一理由就是看空人民币，找美元计价的资产。 但其规模太小，手 …阅读全文 -
Python处理中文标点符号
中文文本中可能出现的标点符号来源比较复杂，通过匹配等手段对他们处理的时候需要格外小心，防止遗漏。以下为在下处理中文标点的时候采用的两种方法: 中文标点集合 比较常见标点有这些： [代码片段] 调用zhon包的zhon.hanzi.punctuation函数即可得到这些中文标点。 如果想用英文的标点，则可调用string包的string.punctuation函数可得到： …阅读全文 -
How to Improve Performance Your Cmd by Parallel
有很多时候，处理一个大文件，常规命令并不能很好的利用多核 例如，一个1T的文本，百亿条数据，我想要: [代码片段] 或者 [代码片段] 一般机器就会自觉进入 [代码片段] 的看戏模式。 我花钱配了这么多核，加了这么多内存，不是让大家来看戏的。于是祭出 [代码片段] ~ 原理 parallel 是一个perl脚本，通过分割输入，并行处理的方式来加速执行命 …阅读全文 -
How to Sort a Very Very Very Big File
sort -uo 一个1T的文件，让最高配的google cloud instance (48 core/512G)崩溃了 ，可惜了我的$30，白白跑了那么长时间 网上搜索都是how to sort a big file，那我这个属于very very very big big big file了~~ 不管是并行也好，管道也好，用了各种奇技淫巧就是敌不过人家 very ve …阅读全文 -
How to Get Intersection of Two Big Files
两个大文件，a.txt和b.txt两个文件的数据都是逐行呈现的， 如何求他们的交集、并集和差集。 用sort+uniq直接搞定: 交集 [代码片段] 并集 [代码片段] 差集 [代码片段] 在开搞 bloom filter或者bitmap 或者grep -f之前可以先组合工具来一个 …阅读全文 -
How to Parallel All Cmds for Linux
grep 一个100GB的文件总是很有压力，怎么才能提速呢? 瞎优化 [代码片段] [代码片段] 比 [代码片段] 要块 不需要正则的话，用fgrep可以提速 不过这样优化总是治标不治本，下面隆重推出linux 里面parallel all cmds的perl工具 [代码片段] 使用parallel ，和不 …阅读全文 -
How to Calling Multiple Commands Through Xargs
有时候想在xargs后面接多条命令，这个时候直接加 [代码片段] 是不行的，要这样做: [代码片段] …阅读全文 -
How to Compress All Find Files to Single Line Argv
有时候find的所有文件要合并为一个argv管道到一个命令里面: [代码片段] …阅读全文 -
How to Sort Big Files
在linux要排序一个100G的文件，压力比较大 并行解决之: [代码片段] 注意这一招在管道里面行不通，所以要用管道的话一定要先重定向到一个文件里面中转一下。 …阅读全文 -
A Strange Bitcoin Transaction
在之前的 谈谈比特币的地址安全问题 这篇文章中，我们谈到一个名为”LBC”的项目，这个项目通过暴力碰撞企图打捞到一些什么东西。 令人惊奇的是，他们真的碰到了几个地址。对他们最近发现的4个地址做了一下分析，发现了更让人惊奇的事情。 他们最近的四个发现是: 2017-11-15 01:25:58 UTC private key:0x236fb6d5 …阅读全文
