2017-06-21 8 views
0

私が接続しているRedisサーバがダウンしたときに、すばやく失敗することに苦労しています。 Redisのがアップしているものの、Redigo:Redisサーバがダウンしているときに速く失敗する

t0 := time.Now() 

conn := state.GetRedisConn() 
if conn != nil && conn.Err() == nil { 
    defer conn.Close() 
    // Do stuff 
else { 
    log.Printf("no redis probably") 
} 

log.Println(time.Now().Sub(t0).Seconds()) 

// This has other stuff in it in the code, use it as a 
// central repository for things we want in memory 
type State struct{ 
    redisPool *redis.Pool 
} 

func (state *State) GetRedisConn() redis.Conn { 
    return state.redisPool.Get() 
} 

func main() { 
    state.redisPool = &redis.Pool{ 
     MaxIdle:  200, 
     MaxActive: 9000, 
     IdleTimeout: time.Minute, 
     Dial: func() (redis.Conn, error) { 
      return redis.Dial("tcp", *redisAddress, 
       redis.DialConnectTimeout(1*time.Second), 
       redis.DialReadTimeout(100*time.Millisecond), 
       redis.DialWriteTimeout(100*time.Millisecond), 
      ) 
     }, 
    } 
} 

そして、新しい接続を要求し、そのようにそれらを使用して:私はredigoを使用していると私はそうのように接続プールを設定してい

これはうまくいく、何ミリ秒で起こる。私が赤目を取り除いた瞬間、75パーセンタイルは7秒以上になり、99パーセンタイルは10秒になります(私はプロメテウスでこれを見ることができます)

私は間違っていますか?なぜこれがタイムアウトしないのですか? 私はredis.DialConnectTimeout(1*time.Second)が1秒で問題を解決するという印象を受けましたが、そうではないようです。

EDIT:プロメテウスでは間違いがあったため、バケットを大きすぎると設定していたので、1秒後にレディがタイムアウトしましたが、バケットには1sバケットと私の要求(1秒をわずかに上回っていた)は10秒バケットで終わり、結果は歪んだ。私はこの議論がある時点で誰かに役立つと確信しています。障害が発生した後

+3

はおそらく、接続試行を使用してシステムを氾濫しています。サーバーが停止している間は、元に戻すために何らかの種類の回路ブレーカーを実装する必要があります。また、9000の最大接続数が高すぎるように見えます(Redisサーバーは一度に1つの要求のみを処理できるため)。サーバーが応答しなくなったときに一時的なポートを素早く使い果たす可能性があります。 – JimB

+2

待ち時間の問題とは別に、 'conn:= state.GetRedisConn(); conn.Close() 'を延期します。プールは常に接続を閉じなければならない接続を返します。 –

答えて

0

レート制限ダイヤルの試み:

func main() { 
    var (
     nextDial time.Time 
     mu sync.Mutex 
    ) 
    state.redisPool = &redis.Pool{ 
     MaxIdle:  200, 
     MaxActive: 9000, 
     IdleTimeout: time.Minute, 
     Dial: func() (redis.Conn, error) { 
      mu.Lock() // Dial can be called concurrently 
      defer mu.Unlock() 
      if time.Now().Before(nextDial) { 
       return nil, errors.New("waiting for dial") 
      } 
      c, err := redis.Dial("tcp", *redisAddress, 
       redis.DialConnectTimeout(1*time.Second), 
       redis.DialReadTimeout(100*time.Millisecond), 
       redis.DialWriteTimeout(100*time.Millisecond), 
      ) 
      if err == nil { 
       nextDial = time.Time{} 
      } else { 
       nextDial = time.Now().Add(time.Second) // don't attempt dial for one second 
      } 
      return c, err 
     }, 
    } 
} 
関連する問題