开源数据统计平台 -- GoAnalytics

Python011

开源数据统计平台 -- GoAnalytics,第1张

本项目用于移动端的数据统计，项目地址： https://github.com/lt90s/goanalytics 。开源的数据统计countly做的很好，但是基础免费版的功能实在不够看，因此我就决定用go语言来写了这个项目，一来可以在实践中学习go语言，二来也可以开发功能完整的开源平台。该项目正在开发中，欢迎有兴趣的gopher一起参与。

数据存储方面使用的是mongodb。由于数据统计业务几乎不涉及到事务以及严格的一致性场景，而且mongodb的自动分片功能可以支撑较大的数据量。使用大数据的存储组件的话就太过于重了。因此选用mongodb。

业务逻辑整体基于事件的发布订阅。当收到客户端请求， frontend 会对请求数据进行处理，然后发布响应的事件。 backend 收到事件后进行统计处理。

后台展示基于Vue-Admin-Template开发，本人前端能力基本就是依葫芦画瓢，希望有前端大神来开发后台页面，项目地址: https://github.com/lt90s/goanalytics-web

目前客户端API仅有2个。一个是上报 openApp 打开APP时间，一个是上报 usageTime 一次启动使用时长事件。SDK方面也需要移动端的大神开发，感兴趣的大佬可以一起开发。

下面放一点后台页面的效果图：

GoAnalytics是基于go实现的一个数据统计平台，用于统计移动端的数据指标，比如启动次数、用户增长、活跃用户、留存等指标分析。前端数据展示项目是 goanalytics-web 。目前正在积极开发中，欢迎提交新的需求和pull request。

Go版本需要支持module，本地开发测试

cmd/goanalytics_kafka 和 goanalytics_rmq 是分别基于 kafka 和 rocketmq 的发布订阅功能做的数据发布

和订阅处理，横向扩展能力比 local 高。另外由于 rocketmq 还没有原生基于 go 的客户端（原生客户端正在开发中

2.0.0 road map )，可能会存在问题。

项目结构

├── README.md

├── api

│ ├── authentication 用户认证、管理API

│ ├── middlewares GIN 中间件

│ └── router API route

├── cmd

│ ├── account 生成admin账号命令

│ ├── analytic_local 不依赖消息系统的goanalytics

│ ├── goanalytics_kafka 基于kafak的goanalytics

│ ├── goanalytics_rmq 基于rocketmq的goanalytics

│ └── test_data 生成测试数据命令

├── common

│ └── data.go

├── conf配置

│ └── conf.go

├── event

│ ├── codec 数据编解码

│ └── pubsub 消息发布订阅

├── go.mod

├── go.sum

├── metric 所有的统计指标在这里实现

│ ├── init.go

│ └── user用户相关指标的实现

├── schedule

│ └── schedule.go 定时任务调度

├── storage 存储模块

│ ├── counter.go 计数器接口

│ ├── data.go

│ └── mongodb 基于mongodb实现的存储及计数器

└── utils

├── date.go

├── date_test.go

├── errors.go

└── key.go

golang在近些年被追捧，不管某华，某阿在很多服务器开发上都在使用。

你不用怀疑golang的

优势：部署简单，良好的语言设计，并发性好，性能优良，开发简洁快，标准库强大，编译简单

缺点：还存在一些缺陷（例如垃圾回收），缺少安全检查，性能方面目前比不过java，第三方库不及java

但作为新兴语种，我们不用担心，背后有谷歌支持和java持平也就是时间上的问题。

而且前面还有某华，某阿顶着不怕。

请自行查看我前面写得GO语言开发环境和GO语言IDE编辑器的经验文章

我们先写一段GO代码

很简单就是打印输出一个hello world！

保存为print.go文件

然后再CMD下一路cd到print.go目录下来

在cmd下运行 go run print.go就可以运行go程序了

看看运行结果

GO程序的代码是可以直接编译成exe文件的

在print.go目录下运行 go build print.go即可把go程序编译成exe文件

完成之后看看exe文件是否存在

最好我们要看看运行exe的效果