_:n957e88cc5a4145e58e55f08b1eeece54xb7
<http://schema.org/text>
"<p><a href=\"https://0xffff.one/d/1549/5\" class=\"PostMention\" data-id=\"9202\" rel=\"\" target=\"\">clean</a> <br>\n大模型根据参数量分好几个档次，我说的小模型是指7b 13b参数量的，30b 60b 或者100b（openai）是相对来说的大模型。参数量简单理解就是模型的脑容量，大模型是通用领域的多面手。</p>\n\n<p>大模型在垂直领域的落地也有很多了，但是垂直领域会面临微调数据不足（首要问题）其次是计算资源，其实归到底就是钱够不够的问题，不是所有企业都像openai，大模型每到一个阶段都劝退一批人，但是也给很多人带来希望。</p>\n\n<p>大模型和垂直领域扯远了，说一下向量化。向量化核心就是算相似度，在高纬向量空间中可区分，就是embedding空间的概念，然后就是向量存储，用的时候就是靠向量检索。</p>\n\n<p>而且向量化不是只能走openai的embedding模型（达芬奇或者其他），研究文本相似度那批人做的simbert，m3e 等基于Bert或者sentenceBert做改进的，其实都可以用在这个embedding或者检索上，因为向量数据库的存储会涉及到构造高效的数据结构，也拿上面提到的faiss，是基于堆构造的。</p>\n\n<p>我也对大模型研究了一段时间，也有一些垂直领域的落地经验，对大模型或者NLP技术感兴趣的可以多交流交流 ;-)</p>"
<https://0xffff.one/d/1549/8>