TrackRay简介
溯光，英文名“TrackRay”，意为逆光而行，追溯光源。同时致敬安全圈前辈开发的“溯雪”，“流光”。
溯光是一个开源的插件化渗透测试框架，框架自身实现了漏洞扫描功能，集成了知名安全工具：Metasploit、Nmap、Sqlmap、AWVS等。
溯光使用 Java 编写，SpringBoot 作为基础框架，JPA + HSQLDB嵌入式数据库做持久化，Maven 管理依赖，Jython 实现 Python 插件调用，quartz 做任务调度，freemarker + thymeleaf 做视图层，Websocket 实现命令行式插件交互。
框架可扩展性高，支持 Java、Python、JSON 等方式编写插件，有“漏洞扫描插件”、“爬虫插件”、“MVC插件”、“内部插件”、“无交互插件”和“可交互插件” 等插件类型。
功能展示
>>>>主页
>>>>登录
>>>>任务创建
>>>>任务列表
>>>>任务详情
>>>>无交互接口插件调用
>>>>MVC插件示例
>>>>交互式插件控制台
>>>>MSF 控制台
依赖环境
JDK 1.8
Python 2.7
Maven
Git
Metasploit
Nmap(建议安装)
SQLMAP(建议安装)
AWVS
**加粗为必须环境，没有安装程序则无法正常编译运行
不论是 Windows 还是 linux 一定需要先安装 JDK1.8 和 Maven。安装过程这里不做演示。保证 JDK 和 Maven 都在系统环境变量，能执行java -version 和 mvn --version即可。
安装过程
>>>>第一步
手动启动 AWVS 服务
登录后台，生成一个API密匙。
复制密匙和 AWVS 的地址。
找到web/src/main/resources/application.properties配置文件。
修改如下部分
>>>>第二步
找到你 python 的第三方库目录。
Windows 的一般在 python 安装目录下的/Lib/site-packages
Linux 下可以通过输出 sys.path 来找第三方包路径
我的是 D:/Python2/Lib/site-packages
同样找到web/src/main/resources/application.properties配置文件。
修改python.package.path参数
>>>>第三步
安装 Maven 后找到仓库位置。
如果没有在 settings.xml 里配置指定仓库目录，默认会在当前用户目录中生成一个 .m2的目录
找到仓库目录后修改 application.properties 的 maven.repository.path参数
>>>>第四步
这个是 DNSLOG 回显检测漏洞时需要的。
去 ceye.io 注册一个账号，拿到给你分配的域名和 TOKEN。
修改配置文件
>>>>第五步
启动 msf 和 sqlmapapi。
如果你是 kali 操作系统，可以直接运行startdep.sh。
如果是其他系统，则要找到 metasploit 和 sqlmap 的目录分别执行
启动成功后修改配置文件
>>>>第六步
编译打包程序
等待依赖下载完成和编译完成，如果以上操作都没有出现问题则会提示 BUILD SUCCESS
编译成功后会在当前目录打包一个trackray.jar就是溯光的主程序。
然后直接执行startup.bat或startup.sh溯光就会启动服务。
没有抛出异常或ERROR日志，访问 8080 端口正常。
服务启动正常后，登录 iZone 社区账号。
**开发插件建议使用 Intellij IDEA IDE，需要安装 lombok 插件。
目录结构
插件
AbstractPlugin
这是交互式插件和非交互式插件的父类。
BASE常量
其中的静态常量 BASE 是 /resources/include/ 的所在目录。
如果你的插件需要额外的静态资源，那么你可以在 /resources/include 目录里创建一个和插件 KEY 相同的文件夹，便于识别，如果没有在 @Plugin 注解中设置 value 则默认的插件 KEY 就是当前类名首字母小写。
如 Typecho001 = typecho001
check(Map param)
这是用于检验是否合规的方法，需要被强制重写，当返回 true 时才会调用 start() 方法
param 参数是从前台传过来的参数键值对。
常被用于检验参数格式是否正确或漏洞是否存在。
after()
在 start() 方法之前调用
before()
在 start() 方法之后调用
start()
这是一个抽象方法，所有继承了该类的子类都需要重写这个方法。
在 check 方法 通过后会调用 start() 方法
start() 方法返回值最终会会当做插件结果，响应给前台。
shell()
调用当前系统 shell 来辅助完成插件功能。
executor()
插件执行的主方法
crawlerPage
http请求对象（不推荐使用）
fetcher
执行 http 请求对象（不推荐使用）
errorMsg
当校验不通过时，返回给前台的信息。
param
前台传过来的参数键值对
requests
HTTP 发包工具（推荐使用）
hackKit
hack 常用工具包
无交互插件
无交互插件需要你填写好所有要填写的参数，直接请求接口来执行插件。
默认需要去继承 CommonPlugin类。
这是一个抽象类，继承了 AbstractPlugin
主要多出来两个属性：request 和 response。
继承了 CommonPlugin 的类可以通过调用这两个属性来控制请求和响应内容。
无交互插件同时也需要使用 @Rule 和 @Plugin 插件，这两个注解后面会讲到。
在 http://127.0.0.1:8080/api，找到相应的插件填写好参数提交即可完成调用。
或直接调用接口。
交互式插件
交互式插件一般在命令行控制台中调用，可以允许你通过命令行交互来完成插件的调用。
交互式插件由 Websocket 实现，想要写一个交互式插件，首先要继承 WebSocketPlugin 类。
同时设置 @Rule 注解的 websocket 参数为 true ，如果需要异步交互需要将 sync 也设置为 true。
内部插件
内部插件是不可以通过外部去调用的，需要继承 InnerPlugin 并使用 @Plugin 注解，通常在漏洞扫描时时会调用。
例如 “网页爬虫”，“指纹识别”，“端口扫描” 等，都是通过调用内部插件实现的。
还有用于检测 SSRF 等漏洞用的 FuckCeye 插件也属于内部插件。
通过 spring 的自动注入，来注入内部插件到当前对象。
例子可参考 WebLogicWLSRCE.java
爬虫插件
爬虫插件会在扫描任务被勾选“网页爬虫”时调用，每爬取一条请求就会调用一次爬虫插件。
爬虫插件需要继承 CrawlerPlugin，继承该类必须重写 check 和 process 方法。
check 方法用于检验请求是否符合插件规则，以免产生多余请求。
当 check 方法 返回为 true 时会调用 process 方法。
process 方法里写插件主要检测代码。
addVulnerable()
当插件检测出漏洞时，可以通过调用 addVulnerable() 方法来向数据库插入一条漏洞。
requests
requests 属性为请求工具包，处理 https 和 http 都很方便。
response
response 属性为当前爬虫得到的 HTTP 响应。
task
task 属性为当前任务对象，如果你的爬虫插件不是检测漏洞而希望是检测一些敏感信息的话可以修改 task.getResult() 里的属性。
参考 FingerProbe.java 或 InfoProbe.java。
target
爬虫爬取到的 URL 对象。
fetcher &crawlerPage
http 请求对象（不建议使用）。
漏洞扫描插件
漏洞扫描插件会在，扫描任务中勾选“漏洞攻击模块”时调用。
漏洞扫描插件分为三种
1.独立插件
独立的漏洞扫描插件需要继承 AbstractExploit 并使用 @Plugin 或 @Exploit
AbstractExploit 中有以下需要了解的方法和属性。
requests
http / https 发包工具
target 当前扫描任务的地址。
task
当前扫描任务对象。
check()
check 是一个抽象方法，需要被子类强制重写。
该方法一般用于检验是否符合当前漏洞扫描插件的规则，以免产生多与请求。
attack()
attack 也是一个抽象方法，需要被子类强制重写。
该方法是检测漏洞的主方法。
before()
在 attack 方法前执行
after()
在 attack 方法后执行
addVulnerable()
当插件检测出漏洞时，可以通过调用 addVulnerable() 方法来向数据库插入一条漏洞。
fetcher &crawlerPage
http 请求对象（不建议使用）。
2.漏洞规则
位于
实际上这是一个“内部插件”，会在勾选漏洞模块攻击时调用。
有一些漏洞检测方法很简单，只通过简单的判断响应体就能识别出来，也就没有必要再去写一个独立的插件而占用空间了。
在 doSwitch() 方法中会先去根据当前任务的指纹识别结果走一遍 switch 流程。
swtich 的每一个 case 都是 WEB 指纹的枚举对象。
当 switch 找到当前任务 WEB 指纹对应的 case 后，case 内的代码会通过构建一个漏洞规则添加到 loaders 集合里。
如果规则是通用的，可以写在 switch 的外面。
3.kunpeng JSON插件
kunpeng 是一个 go 语言编写的 poc 测试框架，这里我对 kunpeng 的 JSON 插件做了一个支持。
只需要按照 kunpeng json 插件的格式规范创建一个 json 文件到 /resources/json 目录。
在扫描任务勾选“漏洞攻击模块”时会被调用，或通过 MVC 插件调用 http://127.0.0.1:8080/apps/json。
MVC 插件
位于
MVC 插件的特点在于，他可以像是在写一个功能一样，而非简单的接口式调用。
MVC 插件需要继承 MVCPlugin 类，并使用 @Rule,@Plugin 注解。
MVCPlugin 内置了一个 ModelAndView 对象， 是 SpringMVC 提供的。
可以通过 setViewName() 来指定视图层的网页模板。
通过 addObject(key,value) 向视图层网页模板注入参数。
这里的视图层是使用 thymeleaf 实现的，需要懂 thymeleaf 的语法。
例子可以参考：com.trackray.module.inner.JSONPlugin
继承 MVCPlugin 必须要重写一个 index 方法，这是插件的入口。
如果需要写其他的功能，就得再创建一个 public 返回值为 void 的无参方法。
并且要在该方法上使用 @Function 注解，该注解的 value 参数如果不填写的话则默认的 requestMapping 地址为方法名。
例如
最后还需要在 /module/src/main/resources/templates 创建一个目录名为插件 KEY 的目录。
里面存放扩展名为 .html 的模板文件。
Python 插件
python 插件有两种实现方式。
1.通过命令行实现
这种方式最为简单，通过在 include 里写一个 python 脚本。
然后在插件里调用 shell() 方法来执行系统命令。
案例可参考 com.trackray.module.plugin.windows.smb.MS17010
但这样还需要再写 java 的代码，对于没有学过 java 的人来说很不友好。
2.通过jython实现
jython 是一个 Python 语言在 Java 中的完全实现。
我将它的调用过程写成了一个交互式插件。
你可以通过在 /resources/python/ 目录下安装如下规范去创建一个 python 文件。
在这个 python 文件中需要写两个方法。
关于注解
@Rule
一般用在“可交互插件”和“无交互插件”类上。
@Plugin
WEB指纹
这里顺便再说一下如何添加指纹库。
指纹库位于 base 模块，是一个枚举类。
可以在首部或尾部添加一条新的枚举，尽量使用 $ 开头。
第一个参数是 指纹的名称，如果第二个参数是 String 类型则是该指纹的说明。
FingerBean 类是指纹匹配对象。
} import static org.quartz.CronScheduleBuilder.cronScheduleimport static org.quartz.JobBuilder.newJobimport static org.quartz.TriggerBuilder.newTriggerimport java.text.SimpleDateFormatimport java.util.Dateimport org.quartz.CronTriggerimport org.quartz.JobDetailimport org.quartz.Schedulerimport org.quartz.SchedulerFactoryimport org.quartz.impl.StdSchedulerFactorypublic class Test {public void go() throws Exception {// 首先，必需要取得一个Scheduler的引用 SchedulerFactory sf = new StdSchedulerFactory() Scheduler sched = sf.getScheduler() //jobs可以在scheduled的sched.start()方法前被调用//job 1将每隔30分钟执行一次JobDetail job = newJob(myJob.class).withIdentity("job1", "group1").build() CronTrigger trigger = newTrigger().withIdentity("trigger1", "group1").withSchedule(cronSchedule("0 0/30 * * * ?")).build() Date ft = sched.scheduleJob(job, trigger) SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss SSS") System.out.pintln("aa")；// 开始执行，start()方法被调用后，计时器就开始工作，计时调度中允许放入N个Job sched.start() try {//主线程等待一分钟Thread.sleep(60L * 1000L) } catch (Exception e) {} //关闭定时调度，定时器不再工作 sched.shutdown(true)}public static void main(String[] args) throws Exception {Test test = new Test() test.go() }}首先，这种框架现在市面上是有的。强烈建议，不要重复造轮子。
先介绍几种比较主流的。
Elastic-Job,是当当网开源的分布式调度解决方案，支持任务分片功能，可以充分利用资源。Elastic-Job有两个独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。具体实现可以参考官方教程。其整体架构图如下。
Elastic-Job的特点：
1、分布式调度 2、作业高可用 3、任务分片执行。
另外，还有其他的一些框架，可以对比使用。比如TBSchedule是阿里巴巴开源的分布式调度框架，完全由java实现，目前被应用于淘宝，阿里巴巴，支付宝，京东， 汽车 之家等。大众点评开源的xxl-job，也是应用比较广泛的分布式调度任务。
目前我使用过的有 Elastic-Job和xxl-job。两者功能都很强大，后台管理也比较完善。很容易上手。都可以满足日常的工作需要。区别就是 Elastic-Job依赖zk，但是xxl-job不依赖zk，只依赖数据库。
目前市面上应该还有一些其他的框架，但是以上是比较主流的，可以根据自己的需要来选择。切记不要重复造轮子，造轮子需要大量的时间去验证。会让你在坑里爬不出来。
1.XXL-JOB
2.Elastic-Job
Elastic-Job 是一个分布式调度解决方案，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。
定位为轻量级无中心化解决方案，使用 jar 包的形式提供分布式任务的协调服务。
支持分布式调度协调、弹性扩容缩容、失效转移、错过执行作业重触发、并行调度、自诊断和修复等等功能特性。
分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。
Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。选择该项目可以满足大多数it企业的需求。
Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。
轻量级无中心化：Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。
灵活的增删改查作业，集中式管理调度作业
支持高可用：一旦执行作业的服务器崩溃，等待执行的服务器将会在下次作业启动时替补执行。开启失效转移功能效果更好，可以保证在本次作业执行时崩溃，备机立即启动替补执行。
支持分片：作业分片一致性，保证同一分片在分布式环境中仅一个执行实例
任务监控：通过监听Elastic-Job-Lite的zookeeper注册中心的几个关键节点即可完成作业运行状态监控功能
一致性：使用zookeeper作为注册中心，为了保证作业的在分布式场景下的一致性，一旦作业与注册中心无法通信，运行中的作业会立刻停止执行，但作业的进程不会退出，这样做的目的是为了防止作业重分片时，将与注册中心失去联系的节点执行的分片分配给另外节点，导致同一分片在两个节点中同时执行。
同时支持动态扩容，将任务拆分为n个任务项后，各个服务器分别执行各自分配到的任务项。一旦有新的服务器加入集群，或现有服务器下线，elastic-job将在保留本次任务执行不变的情况下，下次任务开始前触发任务重分片
3.opencron
opencron是一个功能完善且通用的开源定时任务调度系统，拥有先进可靠的自动化任务管理调度功能，提供可操作的 web 图形化管理满足多种场景下各种复杂的定时任务调度，同时集成了 linux 实时监控、webssh 等功能特性
4.quartz
支持集群和分布式，但是没有友好的管理界面，功能单一，对于管理调用的任务比较困难。
quartz使用数据库锁。在quartz的集群解决方案里有张表scheduler_locks，quartz采用了悲观锁的方式对triggers表进行行加锁，以保证任务同步的正确性。一旦某一个节点上面的线程获取了该锁，那么这个Job就会在这台机器上被执行，同时这个锁就会被这台机器占用。同时另外一台机器也会想要触发这个任务，但是锁已经被占用了，就只能等待，直到这个锁被释放。
quartz的分布式调度策略是以数据库为边界资源的一种异步策略。各个调度器都遵守一个基于数据库锁的操作规则从而保证了操作的唯一性。同时多个节点的异步运行保证了服务的可靠。但这种策略有自己的局限性：集群特性对于高CPU使用率的任务效果很好，但是对于大量的短任务，各个节点都会抢占数据库锁，这样就出现大量的线程等待资源。这种情况随着节点的增加会越来越严重。
缺点：quartz的分布式只是解决了高可用的问题，并没有解决任务分片的问题，还是会有单机处理的极限。
5.Saturn
Saturn
基于当当Elastic Job代码基础上自主研发的任务调度系统，是唯品会开源的分布式作业调度平台，取代传统的Linux Cron/Spring Batch Job的方式，做到统一配置，统一监控，任务高可用以及分片并发处理。主要是去中心化，高可用，可分片，动态扩容，有认证和授权功能。
主要特性
支持多种语言作业，语言无关(Java/Go/C++/PHP/Python/Ruby/shell)
支持秒级调度
支持作业分片并行执行
支持依赖作业串行执行
支持作业高可用和智能负载均衡
支持异常检测和自动失败转移
支持异地容灾
支持多个集群部署
支持跨机房区域部署
支持弹性动态扩容
支持优先级和权重设置
支持docker容器，容器化友好
支持cron时间表达式
支持多个时间段暂停执行控制
支持超时告警和超时强杀控制
支持灰度发布
支持异常、超时和无法高可用作业监控告警和简易的故障排除
支持失败率最高、最活跃和负荷最重的各域各节点TOP10的作业统计
优点：源码清晰，学习入手容易。应用部署简单，提供运维控制台，集中管理作业，运维控制台功能强大，提供作业统计报表 ，告警，增删改查作业，作业统一配置。
最后一个是国内团队封装的
前端时间研究了两款分布式任务调度框架，一个是XXL-Job，现在非常主流，很多常见的一些公司都在使用，像滴滴美团这样的公司都在用，这也是一款开源产品，下载下来导入IDEA就可以使用，分调度器和执行器和管理UI，有很美观的UI界面，可以对任务做增删改查，以及支持自定义开发，有很详细的帮助文档，还提供有demo，傻瓜式的，很简单，亮点是提供了管理界面。
另一个是Quartz，这个组件单机和集群都支持，单机的话是RAMJobStore任务存储，而要支持集群的话，就要将配置改成数据库方式，Quartz提供的有十几张表，其分布式的原理是利用了数据库的行锁，Quartz很简单，也是一款轻量级的开源产品，我们公司一直用这款组件，很成熟无Bug，推荐使用！
springcloudtask，springclouddataflow，正在学习中
