QueryNode的替换过于缓慢，请问如何加速？

[xiaobingxia-at]

在2.5.2 cluster上，有6个query node，每个node 30 core，240GB memory。
对于每个query node：channel number = 65
我要更新cluster，需要把每个query node terminate然后再起新的query node。
按照我的理解，query node在被终结的过程中，他需要把这上面的segment migrate到其他query node。
log 里如下所示：
[2024/12/30 18:50:39.101 +00:00] [INFO] [querynodev2/server.go:474] ["migrate data..."] [ServerID=5] [sealedSegments="[454961340436281294,454961340397436217,454961340393223368,454961340373215015,454961340374839487,454961340399719085,454961340400276494,454961340374836694,454961340421505670,454961340390927125, ......

由于各种原因，每个query node的sealed segment有12000-14000，growing segment也有6000-7000。
然后这个“migrate data..."这个过程就持续了两个小时，还没结束。

请问该如何加速？

目前我只能调整加速compaction，尽量减少segment数目。以及增加更多的query node，让每个query node承担较少的channel和segment。

[yhmo]

把这两个改高，提高读取数据的并行数量，如果太高的话有可能触发s3的限流

common:
  threadCoreCoefficient:
    highPriority: 10 # This parameter specify how many times the number of threads is the number of cores in high priority pool
    middlePriority: 5 # This parameter specify how many times the number of threads is the number of cores in middle priority pool

[xiaobingxia-at]

谢谢。这个是作用在query node上的吗？

[xiaobingxia-at]

查了code，好像是作用在query node和index node上。

[xiaobingxia-at]

提高读取数据的并行数量，如果太高的话有可能触发s3的限流

意思是，query node 被terminate的过程中，往其他query node migrate data。并不是直接传数据，而是其他query node从S3上读取是吗？

[yhmo]

其实就是一个query node停止了，它之前所load的那些segments，要换成其他query nodes去load。所以就是其他query nodes去s3上把那些segments的数据读出来。common.threadCoreCoefficient.middlePriority是设置一个倍数，即节点的cpu核数的倍数，作为这个节点load pool的线程数。每个segment里可能有多个文件，不同的文件用不同的线程读。如果并行的数量多了，有可能会触发s3限流。

[xiaobingxia-at]

另外，这两个参数决定了，query node和index node处理”杂活“时的thread pool大小是吗？所以我提高这两个参数值，仅仅会提高读取S3数据的并行度吗，还会影响其他任务吗？谢谢。