forked from mirror/ledisdb
remove unnecessary benchmark code
This commit is contained in:
siddontang
parent
62219bbe74
commit
9dfc4f0e26
|
|
@ -1,177 +0,0 @@
|
||||||
package main
|
|
||||||
|
|
||||||
import (
|
|
||||||
"flag"
|
|
||||||
"fmt"
|
|
||||||
"github.com/siddontang/go/num"
|
|
||||||
"github.com/siddontang/ledisdb/config"
|
|
||||||
"github.com/siddontang/ledisdb/ledis"
|
|
||||||
"os"
|
|
||||||
"runtime"
|
|
||||||
"sync"
|
|
||||||
"sync/atomic"
|
|
||||||
"time"
|
|
||||||
)
|
|
||||||
|
|
||||||
var KB = config.KB
|
|
||||||
var MB = config.MB
|
|
||||||
var GB = config.GB
|
|
||||||
|
|
||||||
var name = flag.String("db_name", "goleveldb", "db name")
|
|
||||||
var number = flag.Int("n", 10000, "request number")
|
|
||||||
var clients = flag.Int("c", 50, "number of clients")
|
|
||||||
var round = flag.Int("r", 1, "benchmark round number")
|
|
||||||
var valueSize = flag.Int("vsize", 100, "kv value size")
|
|
||||||
var wg sync.WaitGroup
|
|
||||||
|
|
||||||
var ldb *ledis.Ledis
|
|
||||||
var db *ledis.DB
|
|
||||||
|
|
||||||
var loop int = 0
|
|
||||||
|
|
||||||
func bench(cmd string, f func()) {
|
|
||||||
wg.Add(*clients)
|
|
||||||
|
|
||||||
t1 := time.Now()
|
|
||||||
for i := 0; i < *clients; i++ {
|
|
||||||
go func() {
|
|
||||||
for j := 0; j < loop; j++ {
|
|
||||||
f()
|
|
||||||
}
|
|
||||||
wg.Done()
|
|
||||||
}()
|
|
||||||
}
|
|
||||||
|
|
||||||
wg.Wait()
|
|
||||||
|
|
||||||
t2 := time.Now()
|
|
||||||
|
|
||||||
d := t2.Sub(t1)
|
|
||||||
fmt.Printf("%s %s: %0.3f micros/op, %0.2fmb/s %0.2fop/s\n",
|
|
||||||
cmd,
|
|
||||||
d.String(),
|
|
||||||
float64(d.Nanoseconds()/1e3)/float64(*number),
|
|
||||||
float64((*valueSize+16)*(*number))/(1024.0*1024.0*(d.Seconds())),
|
|
||||||
float64(*number)/d.Seconds())
|
|
||||||
}
|
|
||||||
|
|
||||||
var kvSetBase int64 = 0
|
|
||||||
var kvGetBase int64 = 0
|
|
||||||
|
|
||||||
var value []byte
|
|
||||||
|
|
||||||
func benchSet() {
|
|
||||||
f := func() {
|
|
||||||
n := atomic.AddInt64(&kvSetBase, 1)
|
|
||||||
|
|
||||||
db.Set(num.Int64ToBytes(n), value)
|
|
||||||
}
|
|
||||||
|
|
||||||
bench("set", f)
|
|
||||||
}
|
|
||||||
|
|
||||||
func benchGet() {
|
|
||||||
kvGetBase = 0
|
|
||||||
f := func() {
|
|
||||||
n := atomic.AddInt64(&kvGetBase, 1)
|
|
||||||
v, err := db.Get(num.Int64ToBytes(n))
|
|
||||||
if err != nil {
|
|
||||||
println(err.Error())
|
|
||||||
} else if len(v) != *valueSize {
|
|
||||||
println(len(v), *valueSize)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
bench("get", f)
|
|
||||||
}
|
|
||||||
|
|
||||||
var kvGetSliceBase int64 = 0
|
|
||||||
|
|
||||||
func benchGetSlice() {
|
|
||||||
kvGetSliceBase = 0
|
|
||||||
f := func() {
|
|
||||||
n := atomic.AddInt64(&kvGetSliceBase, 1)
|
|
||||||
v, err := db.GetSlice(num.Int64ToBytes(n))
|
|
||||||
if err != nil {
|
|
||||||
println(err.Error())
|
|
||||||
} else if v != nil {
|
|
||||||
v.Free()
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
bench("getslice", f)
|
|
||||||
}
|
|
||||||
|
|
||||||
func setRocksDB(cfg *config.RocksDBConfig) {
|
|
||||||
cfg.BlockSize = 64 * KB
|
|
||||||
cfg.WriteBufferSize = 64 * MB
|
|
||||||
cfg.MaxWriteBufferNum = 2
|
|
||||||
cfg.MaxBytesForLevelBase = 512 * MB
|
|
||||||
cfg.TargetFileSizeBase = 64 * MB
|
|
||||||
cfg.BackgroundThreads = 4
|
|
||||||
cfg.HighPriorityBackgroundThreads = 1
|
|
||||||
cfg.MaxBackgroundCompactions = 3
|
|
||||||
cfg.MaxBackgroundFlushes = 1
|
|
||||||
cfg.CacheSize = 512 * MB
|
|
||||||
cfg.EnableStatistics = true
|
|
||||||
cfg.StatsDumpPeriodSec = 5
|
|
||||||
cfg.Level0FileNumCompactionTrigger = 8
|
|
||||||
cfg.MaxBytesForLevelMultiplier = 8
|
|
||||||
}
|
|
||||||
|
|
||||||
func main() {
|
|
||||||
runtime.GOMAXPROCS(runtime.NumCPU())
|
|
||||||
flag.Parse()
|
|
||||||
|
|
||||||
value = make([]byte, *valueSize)
|
|
||||||
|
|
||||||
cfg := config.NewConfigDefault()
|
|
||||||
cfg.DataDir = "./var/ledis_dbbench"
|
|
||||||
cfg.DBName = *name
|
|
||||||
os.RemoveAll(cfg.DBPath)
|
|
||||||
defer os.RemoveAll(cfg.DBPath)
|
|
||||||
|
|
||||||
os.MkdirAll(cfg.DBPath, 0755)
|
|
||||||
|
|
||||||
cfg.LevelDB.BlockSize = 32 * KB
|
|
||||||
cfg.LevelDB.CacheSize = 512 * MB
|
|
||||||
cfg.LevelDB.WriteBufferSize = 64 * MB
|
|
||||||
cfg.LevelDB.MaxOpenFiles = 1000
|
|
||||||
|
|
||||||
setRocksDB(&cfg.RocksDB)
|
|
||||||
|
|
||||||
var err error
|
|
||||||
ldb, err = ledis.Open(cfg)
|
|
||||||
if err != nil {
|
|
||||||
println(err.Error())
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
db, _ = ldb.Select(0)
|
|
||||||
|
|
||||||
if *number <= 0 {
|
|
||||||
panic("invalid number")
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
if *clients <= 0 || *number < *clients {
|
|
||||||
panic("invalid client number")
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
loop = *number / *clients
|
|
||||||
|
|
||||||
if *round <= 0 {
|
|
||||||
*round = 1
|
|
||||||
}
|
|
||||||
|
|
||||||
for i := 0; i < *round; i++ {
|
|
||||||
benchSet()
|
|
||||||
benchGet()
|
|
||||||
benchGetSlice()
|
|
||||||
benchGet()
|
|
||||||
benchGetSlice()
|
|
||||||
|
|
||||||
println("")
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
@ -1,158 +0,0 @@
|
||||||
package main
|
|
||||||
|
|
||||||
import (
|
|
||||||
"bufio"
|
|
||||||
"bytes"
|
|
||||||
"flag"
|
|
||||||
"fmt"
|
|
||||||
"github.com/siddontang/go/arena"
|
|
||||||
"github.com/siddontang/ledisdb/config"
|
|
||||||
"github.com/siddontang/ledisdb/ledis"
|
|
||||||
"github.com/siddontang/ledisdb/server"
|
|
||||||
"net"
|
|
||||||
"os"
|
|
||||||
"runtime"
|
|
||||||
"time"
|
|
||||||
)
|
|
||||||
|
|
||||||
var KB = config.KB
|
|
||||||
var MB = config.MB
|
|
||||||
var GB = config.GB
|
|
||||||
|
|
||||||
var addr = flag.String("addr", ":6380", "listen addr")
|
|
||||||
var name = flag.String("db_name", "", "db name")
|
|
||||||
|
|
||||||
var ldb *ledis.Ledis
|
|
||||||
var db *ledis.DB
|
|
||||||
|
|
||||||
func setRocksDB(cfg *config.RocksDBConfig) {
|
|
||||||
cfg.BlockSize = 64 * KB
|
|
||||||
cfg.WriteBufferSize = 64 * MB
|
|
||||||
cfg.MaxWriteBufferNum = 2
|
|
||||||
cfg.MaxBytesForLevelBase = 512 * MB
|
|
||||||
cfg.TargetFileSizeBase = 64 * MB
|
|
||||||
cfg.BackgroundThreads = 4
|
|
||||||
cfg.HighPriorityBackgroundThreads = 1
|
|
||||||
cfg.MaxBackgroundCompactions = 3
|
|
||||||
cfg.MaxBackgroundFlushes = 1
|
|
||||||
cfg.CacheSize = 512 * MB
|
|
||||||
cfg.EnableStatistics = true
|
|
||||||
cfg.StatsDumpPeriodSec = 5
|
|
||||||
cfg.Level0FileNumCompactionTrigger = 8
|
|
||||||
cfg.MaxBytesForLevelMultiplier = 8
|
|
||||||
}
|
|
||||||
|
|
||||||
func main() {
|
|
||||||
runtime.GOMAXPROCS(runtime.NumCPU())
|
|
||||||
|
|
||||||
flag.Parse()
|
|
||||||
l, err := net.Listen("tcp", *addr)
|
|
||||||
|
|
||||||
println("listen", *addr)
|
|
||||||
|
|
||||||
if err != nil {
|
|
||||||
fmt.Println(err.Error())
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
if len(*name) > 0 {
|
|
||||||
cfg := config.NewConfigDefault()
|
|
||||||
cfg.DataDir = "./var/ledis_respbench"
|
|
||||||
cfg.DBName = *name
|
|
||||||
os.RemoveAll(cfg.DBPath)
|
|
||||||
defer os.RemoveAll(cfg.DBPath)
|
|
||||||
|
|
||||||
os.MkdirAll(cfg.DBPath, 0755)
|
|
||||||
|
|
||||||
cfg.LevelDB.BlockSize = 32 * KB
|
|
||||||
cfg.LevelDB.CacheSize = 512 * MB
|
|
||||||
cfg.LevelDB.WriteBufferSize = 64 * MB
|
|
||||||
cfg.LevelDB.MaxOpenFiles = 1000
|
|
||||||
|
|
||||||
setRocksDB(&cfg.RocksDB)
|
|
||||||
|
|
||||||
ldb, err = ledis.Open(cfg)
|
|
||||||
if err != nil {
|
|
||||||
println(err.Error())
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
db, _ = ldb.Select(0)
|
|
||||||
}
|
|
||||||
|
|
||||||
for {
|
|
||||||
c, err := l.Accept()
|
|
||||||
if err != nil {
|
|
||||||
println(err.Error())
|
|
||||||
continue
|
|
||||||
}
|
|
||||||
go run(c)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func run(c net.Conn) {
|
|
||||||
//buf := make([]byte, 10240)
|
|
||||||
ok := []byte("+OK\r\n")
|
|
||||||
data := []byte("$4096\r\n")
|
|
||||||
data = append(data, make([]byte, 4096)...)
|
|
||||||
data = append(data, "\r\n"...)
|
|
||||||
|
|
||||||
var rt time.Duration
|
|
||||||
var wt time.Duration
|
|
||||||
var st time.Duration
|
|
||||||
var gt time.Duration
|
|
||||||
|
|
||||||
rb := bufio.NewReaderSize(c, 10240)
|
|
||||||
wb := bufio.NewWriterSize(c, 10240)
|
|
||||||
|
|
||||||
a := arena.NewArena(10240)
|
|
||||||
|
|
||||||
for {
|
|
||||||
t1 := time.Now()
|
|
||||||
|
|
||||||
a.Reset()
|
|
||||||
|
|
||||||
req, err := server.ReadRequest(rb, a)
|
|
||||||
|
|
||||||
if err != nil {
|
|
||||||
break
|
|
||||||
}
|
|
||||||
t2 := time.Now()
|
|
||||||
|
|
||||||
rt += t2.Sub(t1)
|
|
||||||
|
|
||||||
cmd := string(bytes.ToUpper(req[0]))
|
|
||||||
switch cmd {
|
|
||||||
case "SET":
|
|
||||||
if db != nil {
|
|
||||||
db.Set(req[1], req[2])
|
|
||||||
st += time.Now().Sub(t2)
|
|
||||||
}
|
|
||||||
wb.Write(ok)
|
|
||||||
case "GET":
|
|
||||||
if db != nil {
|
|
||||||
d, _ := db.GetSlice(req[1])
|
|
||||||
gt += time.Now().Sub(t2)
|
|
||||||
if d == nil {
|
|
||||||
wb.Write(data)
|
|
||||||
} else {
|
|
||||||
wb.WriteString(fmt.Sprintf("$%d\r\n", d.Size()))
|
|
||||||
wb.Write(d.Data())
|
|
||||||
wb.WriteString("\r\n")
|
|
||||||
d.Free()
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
wb.Write(data)
|
|
||||||
}
|
|
||||||
default:
|
|
||||||
wb.WriteString(fmt.Sprintf("-Err %s Not Supported Now\r\n", req[0]))
|
|
||||||
}
|
|
||||||
|
|
||||||
wb.Flush()
|
|
||||||
|
|
||||||
t3 := time.Now()
|
|
||||||
wt += t3.Sub(t2)
|
|
||||||
}
|
|
||||||
|
|
||||||
fmt.Printf("rt:%s wt %s, gt:%s, st:%s\n", rt.String(), wt.String(), gt.String(), st.String())
|
|
||||||
}
|
|
||||||
Loading…
Reference in New Issue