#define __LZW_H__
//------------------------------------------------------------------------------
#include <stdio.h>
#include <stdlib.h>
#include <windows.h>
#include <memory.h>
//------------------------------------------------------------------------------
#define LZW_BASE0x102// The code base
#define CODE_LEN 12 // Max code length
#define TABLE_LEN 4099 // It must be prime number and bigger than 2^CODE_LEN=4096.
// Such as 5051 is also ok.
#define BUFFERSIZE 1024
//------------------------------------------------------------------------------
typedef struct
{
HANDLE h_sour // Source file handle.
HANDLE h_dest // Destination file handle.
HANDLE h_suffix// Suffix table handle.
HANDLE h_prefix// Prefix table handle.
HANDLE h_code // Code table handle.
LPWORD lp_prefix// Prefix table head pointer.
LPBYTE lp_suffix// Suffix table head pointer.
LPWORD lp_code// Code table head pointer.WORDcode
WORDprefix
BYTEsuffix BYTEcur_code_len// Current code length.[ used in Dynamic-Code-Length mode ]}LZW_DATA,*PLZW_DATA
typedef struct
{
WORDtop
WORDindex LPBYTE lp_buffer
HANDLE h_buffer
BYTEby_left
DWORD dw_buffer BOOLend_flag}BUFFER_DATA,*PBUFFER_DATA
typedef struct //Stack used in decode
{
WORDindex
HANDLE h_stack
LPBYTE lp_stack}STACK_DATA,*PSTACK_DATA
//------------------------------------------------------------------------------
VOID stack_create( PSTACK_DATA stack )
{
stack->h_stack = GlobalAlloc( GHND , TABLE_LEN*sizeof(BYTE) )
stack->lp_stack = GlobalLock( stack->h_stack )
stack->index = 0
}
//------------------------------------------------------------------------------
VOID stack_destory( PSTACK_DATA stack )
{
GlobalUnlock( stack->h_stack )
GlobalFree ( stack->h_stack )
}
//------------------------------------------------------------------------------
VOID buffer_create( PBUFFER_DATAbuffer )
{
buffer->h_buffer = GlobalAlloc( GHND, BUFFERSIZE*sizeof(BYTE) )
buffer->lp_buffer = GlobalLock( buffer->h_buffer )
buffer->top= 0
buffer->index = 0
buffer->by_left= 0
buffer->dw_buffer = 0
buffer->end_flag = FALSE
}
//------------------------------------------------------------------------------
VOID buffer_destory( PBUFFER_DATA buffer )
{
GlobalUnlock( buffer->h_buffer )
GlobalFree ( buffer->h_buffer )
}
//------------------------------------------------------------------------------
VOID re_init_lzw( PLZW_DATA lzw )//When code table reached its top it should
{//be reinitialized.
memset( lzw->lp_code, 0xFFFF, TABLE_LEN*sizeof(WORD) )
lzw->code = LZW_BASE
lzw->cur_code_len = 9
}
//------------------------------------------------------------------------------
VOID lzw_create(PLZW_DATAlzw,HANDLE h_sour,HANDLE h_dest)
{
WORD i
lzw->h_code= GlobalAlloc( GHND, TABLE_LEN*sizeof(WORD) )
lzw->h_prefix = GlobalAlloc( GHND, TABLE_LEN*sizeof(WORD) )
lzw->h_suffix = GlobalAlloc( GHND, TABLE_LEN*sizeof(BYTE) )
lzw->lp_code = GlobalLock( lzw->h_code )
lzw->lp_prefix = GlobalLock( lzw->h_prefix )
lzw->lp_suffix = GlobalLock( lzw->h_suffix )
lzw->code = LZW_BASE
lzw->cur_code_len = 9
lzw->h_sour= h_sour
lzw->h_dest= h_dest
memset( lzw->lp_code, 0xFFFF, TABLE_LEN*sizeof(WORD) )}
//------------------------------------------------------------------------------
VOID lzw_destory(PLZW_DATAlzw)
{
GlobalUnlock( lzw->h_code )
GlobalUnlock( lzw->h_prefix )
GlobalUnlock( lzw->h_suffix )GlobalFree( lzw->h_code )
GlobalFree( lzw->h_prefix )
GlobalFree( lzw->h_suffix )
}
//------------------------------------------------------------------------------
#endif(2) fileio.h 定义了一些文件操作#ifndef __FILEIO_H__
#define __FILEIO_H__
//------------------------------------------------------------------------------
#include <stdio.h>
#include <stdlib.h>
#include <windows.h>
//------------------------------------------------------------------------------
HANDLE file_handle(CHAR* file_name)
{
HANDLE h_file
h_file = CreateFile(file_name,
GENERIC_READ|GENERIC_WRITE,
FILE_SHARE_READ|FILE_SHARE_WRITE,
NULL,
OPEN_ALWAYS,
0,
NULL
)
return h_file
}
//------------------------------------------------------------------------------
WORD load_buffer(HANDLE h_sour, PBUFFER_DATA buffer) // Load file to buffer
{
DWORD ret
ReadFile(h_sour,buffer->lp_buffer,BUFFERSIZE,&ret,NULL)
buffer->index = 0
buffer->top = (WORD)ret
return (WORD)ret
}
//------------------------------------------------------------------------------
WORD empty_buffer( PLZW_DATA lzw, PBUFFER_DATA buffer)// Output buffer to file
{
DWORD ret
if(buffer->end_flag) // The flag mark the end of decode
{
if( buffer->by_left )
{
buffer->lp_buffer[ buffer->index++ ] = (BYTE)( buffer->dw_buffer >>32-buffer->by_left )<<(8-buffer->by_left)
}
}
WriteFile(lzw->h_dest, buffer->lp_buffer,buffer->index,&ret,NULL)
buffer->index = 0
buffer->top = ret
return (WORD)ret
}
//------------------------------------------------------------------------------
#endif
参见gif压缩算法源代码。1.LZW的全称是什么?
Lempel-Ziv-Welch (LZW).
2. LZW的简介和压缩原理是什么？
LZW压缩算法是一种新颖的压缩方法，由Lemple-Ziv-Welch 三人共同创造，用他们的名字命名。它采用了一种先进的串表压缩，将每个第一次出现的串放在一个串表中，用一个数字来表示串，压缩文件只存贮数字，则不存贮串，从而使图象文件的压缩效率得到较大的提高。奇妙的是，不管是在压缩还是在解压缩的过程中都能正确的建立这个串表，压缩或解压缩完成后，这个串表又被丢弃。
LZW算法中，首先建立一个字符串表，把每一个第一次出现的字符串放入串表中，并用一个数字来表示，这个数字与此字符串在串表中的位置有关，并将这个数字存入压缩文件中，如果这个字符串再次出现时，即可用表示它的数字来代替，并将这个数字存入文件中。压缩完成后将串表丢弃。如"print" 字符串，如果在压缩时用266表示，只要再次出现，均用266表示，并将"print"字符串存入串表中，在图象解码时遇到数字266，即可从串表中查出266所代表的字符串"print"，在解压缩时，串表可以根据压缩数据重新生成。
3.在详细介绍算法之前，先列出一些与该算法相关的概念和词汇
1)'Character': 字符，一种基础数据元素，在普通文本文件中，它占用1个单独的byte，而在图像中，它却是 一种代表给定像素颜色的索引值。
2)'CharStream'：数据文件中的字符流。
3)'Prefix':前缀。如这个单词的含义一样，代表着在一个字符最直接的前一个字符。一个前缀字符长度可以为0,一个prefix和一个character可以组成一个字符串(string),
4)'Suffix': 后缀，是一个字符，一个字符串可以由(A,B)来组成，A是前缀,B是后缀,当A长度为0的时候，代表Root，根
5)'Code:码,用于代表一个字符串的位置编码
6)'Entry'，一个Code和它所代表的字符串(string)
4.压缩算法的简单示例，不是完全实现LZW算法，只是从最直观的角度看lzw算法的思想
对原始数据ABCCAABCDDAACCDB进行LZW压缩
原始数据中，只包括4个字符(Character),A,B,C,D,四个字符可以用一个2bit的数表示，0-A,1-B,2-C,3-D,从最直观的角度看，原始字符串存在重复字符：ABCCAABCDDAACCDB，用4代表AB,5代表CC，上面的字符串可以替代表示为:45A4CDDAA5DB,这样是不是就比原数据短了一些呢！
5.LZW算法的适用范围
为了区别代表串的值(Code)和原来的单个的数据值(String)，需要使它们的数值域不重合，上面用0-3来代表A-D,那么AB就必须用大于3的数值来代替，再举另外一个例子，原来的数值范围可以用8bit来表示，那么就认为原始的数的范围是0～255，压缩程序生成的标号的范围就不能为0～255（如果是0-255，就重复了）。只能从256开始，但是这样一来就超过了8位的表示范围了，所以必须要扩展数据的位数，至少扩展一位，但是这样不是增加了1个字符占用的空间了么？但是却可以用一个字符代表几个字符，比如原来255是8bit,但是现在用256来表示254，255两个数，还是划得来的。从这个原理可以看出LZW算法的适用范围是原始数据串最好是有大量的子串多次重复出现，重复的越多，压缩效果越好。反之则越差，可能真的不减反增了。
6.LZW算法中特殊标记
随着新的串(string)不断被发现，标号也会不断地增长，如果原数据过大，生成的标号集（string table)会越来越大，这时候操作这个集合就会产生效率问题。如何避免这个问题呢?Gif在采用lzw算法的做法是当标号集足够大的时候，就不能增大了，干脆从头开始再来，在这个位置要插入一个标号，就是清除标志CLEAR，表示从这里我重新开始构造字典，以前的所有标记作废，开始使用新的标记。
这时候又有一个问题出现，足够大是多大？这个标号集的大小为比较合适呢？理论上是标号集大小越大，则压缩比率就越高，但开销也越高。 一般根据处理速度和内存空间连个因素来选定。GIF规范规定的是12位，超过12位的表达范围就推倒重来，并且GIF为了提高压缩率，采用的是变长的字长。比如说原始数据是8位，那么一开始，先加上一位再说，开始的字长就成了9位，然后开始加标号，当标号加到512时，也就是超过9为所能表达的最大数据时，也就意味着后面的标号要用10位字长才能表示了，那么从这里开始，后面的字长就是10位了。依此类推，到了2^12也就是4096时，在这里插一个清除标志，从后面开始，从9位再来。
GIF规定的清除标志CLEAR的数值是原始数据字长表示的最大值加1，如果原始数据字长是8，那么清除标志就是256，如果原始数据字长为4那么就是16。另外GIF还规定了一个结束标志END，它的值是清除标志CLEAR再加1。由于GIF规定的位数有1位（单色图），4位（16色）和8位（256色），而1位的情况下如果只扩展1位，只能表示4种状态，那么加上一个清除标志和结束标志就用完了，所以1位的情况下就必须扩充到3位。其它两种情况初始的字长就为5位和9位。此处参照了http://blog.csdn.net/whycadi/
7.用lzw算法压缩原始数据的示例分析
输入流，也就是原始的数据为:255,24,54,255,24,255,255,24,5,123,45,255,24,5,24,54..................
这个正好可以看到是gif文件中像素数组的一部分，如何对它进行压缩
因为原始数据可以用8bit来表示，故清除标志Clear=255+1 =256,结束标志为End=256+1=257，目前标号集为
0 1 2 3 .................................................................................255 CLEAR END
第一步,读取第一个字符为255,在标记表里面查找，255已经存在，我们已经认识255了，不做处理
第二步,取第二个字符，此时前缀为A,形成当前的Entry为(255,24),在标记集合不存在，我们并不认识255,24好，这次你小子来了，我就记住你，把它在标记集合中标记为258,然后输出前缀A,保留后缀24，并作为下一次的前缀（后缀变前缀)
第三步，取第三个字符为54，当前Entry(24,54),不认识，记录(24,54)为标号259,并输出24,后缀变前缀
第四部：取第四个字符255,Entry=(54,255),不认识，记录(54,255)为标号260,输出54,后缀变前缀
第五步 取第5个字符24，entry=(255,24),啊，认识你，这不是老258么，于是把字符串规约为258，并作为前缀
第六步 取第六个字符255,entry=(258,255)，不认识，记录(258,255)为261,输出258,后缀变前缀
.......
一直处理到最后一个字符,
用一个表记录处理过程
CLEAR=256,END=257
第几步前缀后缀Entry认识(Y/N)输出标号
1255（，255）
225524 (255,24) N255258
32454 (24,54) N24259
454255 (54,255) N54260
525524 (255,24) Y
6258255 (258,255) N258261
7255255 (255,255) N255262
.....
上面这个示例有些不能完整体现，另外一个例子是
原输入数据为:A B A B A B A B B B A B A B A A C D A C D A D C A B A A A B A B .....
采用LZW算法对其进行压缩，压缩过程用一个表来表述为:
注意原数据中只包含4个character,A,B,C,D
用两bit即可表述，根据lzw算法，首先扩展一位变为3为,Clear=2的2次方+1=4End=4+1=5
初始标号集因该为
012345
ABCDClearEnd
而压缩过程为:
第几步前缀后缀Entry认识(Y/N)输出标号
1A（，A）
2AB (A,B) NA6
3BA (B,A) NB7
4AB (A,B) Y
56A (6,A) N68
6AB (A,B) Y
76A (6,A) Y
88B (8,B) N89
9BB (B,B) NB10
10BB (B,B) Y
1110A (10,A) N1011
12AB (A,B) Y
.....
当进行到第12步的时候，标号集应该为
01234567891011
ABCDClearEndABBA6A8BBB10A
8.LZW算法的伪代码实现
1STRING = get input character
2WHILE there are still input characters DO
3CHARACTER = get input character
4IF STRING+CHARACTER is in the string table then
5STRING = STRING+character
6ELSE
7output the code for STRING
8add STRING+CHARACTER to the string table
9STRING = CHARACTER
10END of IF
11END of WHILE
12output the code for STRING
13
LZW算法全名叫做Lempel-Ziv-Welch Encoding，是一种数据压缩算法，它是有专利的，不过现今大部分专利都己经过期。它可以对文本进行简单的压缩，压缩比对于一般场合还是可以适用的，另外使用的比较多的就是GIF图像了。LZW算法中有几个比较重要的概念：字符，字符串，编码表。它把数据流看成一个字符序列，并将字符序列组织成一系列的字符串，并给每个字符串一个编码，最后存储的就是字符串的编码，这样就节省了空间。如将ababba表示为编码1532，而1523用12bit就可以表示出来，比原来5*8bit就节省了不少空间。LZW的编码表是动态创建的，并且通过编码后的数据流可以恢复出与编码时同样的编码表，这样在数据存储与传输的时候就不需要保存原始的编码表，这也是与一些在编码之前就有固定的编码表的算法有着巨大的区别。
1.编码过程：
LZW是一个固长编码的算法的，即对于每一个字符或字符串的编码都是等长的。为了说明的方便，我决定用16bit作为编码，前255作为字符编码，256，257另作它用，这将在3中进行说明。所以字符串的编码将从258开始。
编码的整个过程如下：
1. 初始化编码表，编码起始号，并置当前字符串为空；
2. 读入一个字符，如果为EOF，输出当前字符串，并结束，否则进入3；
3. 将新读入的字符与当前字符串组成新的字符串，如果新的字符串在编码表中出现，则继续进行2，否则进入4；
4. 将新的字符串加入到编码表中，分配编号，设当前字符串的长度为N，输入新字符串的N-1长度前缀的编码，并将当前字符串置为当前字符串的一个长度为1的后缀，再执行2。
2.解码过程：
对于解码，唯一需要知道的就是编码的长度了，每次从编码流中读取相应bit的长度，就形成一个编码，再通过该编码从编码表中找出相对应的串输出即可。由于没有存储编码时对应的编码表，在译码时需要同时构造编码表。
译码过程如下：
1. 初始化编码表，并置前一个编码为空；
2. 取一个编码，如果编码为结束，则结束。否则进行3；
3. 输出编码所代表的字符串，如果前一个编码不为空，将前一个编码的字符串与当前字符串的第一个字符作为新的串加入编码表中，置前一个编码为当前编码，并执行2。
