ch13: add bzip
This commit is contained in:
parent
5032dd3b10
commit
ba5d797931
|
@ -0,0 +1,20 @@
|
||||||
|
// Copyright © 2016 Alan A. A. Donovan & Brian W. Kernighan.
|
||||||
|
|
||||||
|
//!+
|
||||||
|
/* This file is gopl.io/ch13/bzip/bzip2.c, */
|
||||||
|
/* a simple wrapper for libbzip2 suitable for cgo. */
|
||||||
|
#include <bzlib.h>
|
||||||
|
|
||||||
|
int bz2compress(bz_stream *s, int action,
|
||||||
|
char *in, unsigned *inlen, char *out, unsigned *outlen) {
|
||||||
|
s->next_in = in;
|
||||||
|
s->avail_in = *inlen;
|
||||||
|
s->next_out = out;
|
||||||
|
s->avail_out = *outlen;
|
||||||
|
int r = BZ2_bzCompress(s, action);
|
||||||
|
*inlen -= s->avail_in;
|
||||||
|
*outlen -= s->avail_out;
|
||||||
|
return r;
|
||||||
|
}
|
||||||
|
|
||||||
|
//!-
|
|
@ -0,0 +1,88 @@
|
||||||
|
// Copyright © 2016 Alan A. A. Donovan & Brian W. Kernighan.
|
||||||
|
//!+
|
||||||
|
|
||||||
|
// Package bzip provides a writer that uses bzip2 compression (bzip.org).
|
||||||
|
package bzip
|
||||||
|
|
||||||
|
/*
|
||||||
|
#cgo CFLAGS: -I/usr/include
|
||||||
|
#cgo LDFLAGS: -L/usr/lib -lbz2
|
||||||
|
#include <bzlib.h>
|
||||||
|
int bz2compress(bz_stream *s, int action,
|
||||||
|
char *in, unsigned *inlen, char *out, unsigned *outlen);
|
||||||
|
*/
|
||||||
|
import "C"
|
||||||
|
|
||||||
|
import (
|
||||||
|
"io"
|
||||||
|
"unsafe"
|
||||||
|
)
|
||||||
|
|
||||||
|
type writer struct {
|
||||||
|
w io.Writer // underlying output stream
|
||||||
|
stream *C.bz_stream
|
||||||
|
outbuf [64 * 1024]byte
|
||||||
|
}
|
||||||
|
|
||||||
|
// NewWriter returns a writer for bzip2-compressed streams.
|
||||||
|
func NewWriter(out io.Writer) io.WriteCloser {
|
||||||
|
const (
|
||||||
|
blockSize = 9
|
||||||
|
verbosity = 0
|
||||||
|
workFactor = 30
|
||||||
|
)
|
||||||
|
w := &writer{w: out, stream: new(C.bz_stream)}
|
||||||
|
C.BZ2_bzCompressInit(w.stream, blockSize, verbosity, workFactor)
|
||||||
|
return w
|
||||||
|
}
|
||||||
|
|
||||||
|
//!-
|
||||||
|
|
||||||
|
//!+write
|
||||||
|
func (w *writer) Write(data []byte) (int, error) {
|
||||||
|
if w.stream == nil {
|
||||||
|
panic("closed")
|
||||||
|
}
|
||||||
|
var total int // uncompressed bytes written
|
||||||
|
|
||||||
|
for len(data) > 0 {
|
||||||
|
inlen, outlen := C.uint(len(data)), C.uint(cap(w.outbuf))
|
||||||
|
C.bz2compress(w.stream, C.BZ_RUN,
|
||||||
|
(*C.char)(unsafe.Pointer(&data[0])), &inlen,
|
||||||
|
(*C.char)(unsafe.Pointer(&w.outbuf)), &outlen)
|
||||||
|
total += int(inlen)
|
||||||
|
data = data[inlen:]
|
||||||
|
if _, err := w.w.Write(w.outbuf[:outlen]); err != nil {
|
||||||
|
return total, err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return total, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
//!-write
|
||||||
|
|
||||||
|
//!+close
|
||||||
|
// Close flushes the compressed data and closes the stream.
|
||||||
|
// It does not close the underlying io.Writer.
|
||||||
|
func (w *writer) Close() error {
|
||||||
|
if w.stream == nil {
|
||||||
|
panic("closed")
|
||||||
|
}
|
||||||
|
defer func() {
|
||||||
|
C.BZ2_bzCompressEnd(w.stream)
|
||||||
|
w.stream = nil
|
||||||
|
}()
|
||||||
|
for {
|
||||||
|
inlen, outlen := C.uint(0), C.uint(cap(w.outbuf))
|
||||||
|
r := C.bz2compress(w.stream, C.BZ_FINISH, nil, &inlen,
|
||||||
|
(*C.char)(unsafe.Pointer(&w.outbuf)), &outlen)
|
||||||
|
if _, err := w.w.Write(w.outbuf[:outlen]); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if r == C.BZ_STREAM_END {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
//!-close
|
|
@ -0,0 +1,39 @@
|
||||||
|
// Copyright © 2016 Alan A. A. Donovan & Brian W. Kernighan.
|
||||||
|
|
||||||
|
package bzip_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"compress/bzip2" // reader
|
||||||
|
"io"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"gopl.io/ch13/bzip" // writer
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestBzip2(t *testing.T) {
|
||||||
|
var compressed, uncompressed bytes.Buffer
|
||||||
|
w := bzip.NewWriter(&compressed)
|
||||||
|
|
||||||
|
// Write a repetitive message in a million pieces,
|
||||||
|
// compressing one copy but not the other.
|
||||||
|
tee := io.MultiWriter(w, &uncompressed)
|
||||||
|
for i := 0; i < 1000000; i++ {
|
||||||
|
io.WriteString(tee, "hello")
|
||||||
|
}
|
||||||
|
if err := w.Close(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Check the size of the compressed stream.
|
||||||
|
if got, want := compressed.Len(), 255; got != want {
|
||||||
|
t.Errorf("1 million hellos compressed to %d bytes, want %d", got, want)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Decompress and compare with original.
|
||||||
|
var decompressed bytes.Buffer
|
||||||
|
io.Copy(&decompressed, bzip2.NewReader(&compressed))
|
||||||
|
if !bytes.Equal(uncompressed.Bytes(), decompressed.Bytes()) {
|
||||||
|
t.Error("decompression yielded a different message")
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,25 @@
|
||||||
|
// Copyright © 2016 Alan A. A. Donovan & Brian W. Kernighan.
|
||||||
|
//!+
|
||||||
|
|
||||||
|
// Bzipper reads input, bzip2-compresses it, and writes it out.
|
||||||
|
package main
|
||||||
|
|
||||||
|
import (
|
||||||
|
"io"
|
||||||
|
"log"
|
||||||
|
"os"
|
||||||
|
|
||||||
|
"gopl.io/ch13/bzip"
|
||||||
|
)
|
||||||
|
|
||||||
|
func main() {
|
||||||
|
w := bzip.NewWriter(os.Stdout)
|
||||||
|
if _, err := io.Copy(w, os.Stdin); err != nil {
|
||||||
|
log.Fatalf("bzipper: %v\n", err)
|
||||||
|
}
|
||||||
|
if err := w.Close(); err != nil {
|
||||||
|
log.Fatalf("bzipper: close: %v\n", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
//!-
|
Loading…
Reference in New Issue