会更换文本编码器吗?

[fengweipeng]

根据这个大语言模型的排名：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard
最近一个月的新的语言模型，可以用更少的参数，实现远超旧模型的效果。
microsoft/Phi-3-mini-4k-instruct 以38亿参数量，击败了85亿参数的google/gemma-7b。当然，两者肯定都超过 110亿参数的 google/flan-t5-xxl。
我觉得，它可以证明，t5的编码器有很大的提升空间。
现在用的编码器发布多久了？也该换了吧？
我知道，Phi3的模型架构，只用了解码器，没有编码器。
现在，有没有更加高效的编码器？
新的模型会换文本编码器吗？