标量（Scalar）

标量是一个单独的数值，只有大小没有方向。

向量（Vector）

向量是一组有序排列的数值，可以表示方向和大小。在AI中，向量是表示数据的核心方式。

Embedding——向量的AI应用

Embedding（嵌入/向量化）是将文字、图片等非数值数据转换为数值向量的过程。通过Embedding，AI可以将语义相似的内容映射到向量空间中相近的位置。

向量运算

运算	公式	含义	AI中的应用
向量加法	\([a_1, a_2] + [b_1, b_2] = [a_1+b_1, a_2+b_2]\)	两个向量的对应分量相加	合并语义信息
点积（Dot Product）	\(A \cdot B = a_1 b_1 + a_2 b_2 + \cdots\)	衡量两个向量的相似程度	注意力机制的核心计算
余弦相似度	\(\cos(\theta) = \frac{A \cdot B}{|A||B|}\)	衡量方向的相似性（不受长度影响）	文本相似度、推荐系统

常见的向量维度

模型/场景	向量维度	说明
Word2Vec	300	经典词向量模型
BERT	768	主流预训练语言模型
GPT系列	768 - 12288	随模型规模增大
OpenAI Embedding	1536 / 3072	text-embedding-3-small / large

余弦相似度详解

余弦相似度是衡量两个向量方向相似性的指标，取值范围为 \([-1, 1]\)：

• \(\cos(\theta) = 1\)：两个向量方向完全相同（最相似）
• \(\cos(\theta) = 0\)：两个向量正交（无关）
• \(\cos(\theta) = -1\)：两个向量方向完全相反（最不相似）

数学公式：

\[ \cos(\theta) = \frac{A \cdot B}{|A| \times |B|} = \frac{\sum_{i=1}^{n} a_i \times b_i}{\sqrt{\sum_{i=1}^{n} a_i^2} \times \sqrt{\sum_{i=1}^{n} b_i^2}} \]

其中 \(A \cdot B\) 是向量点积，\(|A|\) 和 \(|B|\) 是向量的模（长度）。

使用sentence-transformers计算相似度

from sentence_transformers import SentenceTransformer, util

# 加载预训练模型
model = SentenceTransformer('paraphrase-MiniLM-L6-v2')

# 定义文本
texts = [
    "我喜欢吃苹果",
    "我爱吃水果",
    "今天天气很好",
    "这辆车很快"
]

# 计算Embedding向量
embeddings = model.encode(texts)

# 计算余弦相似度
similarity_matrix = util.cos_sim(embeddings, embeddings)

# 打印相似度矩阵
for i in range(len(texts)):
    for j in range(len(texts)):
        if i < j:  # 只打印上三角
            score = similarity_matrix[i][j].item()
            print(f"'{texts[i]}' vs '{texts[j]}': {score:.4f}")

# 输出示例：
# '我喜欢吃苹果' vs '我爱吃水果': 0.6532  (语义相近)
# '我喜欢吃苹果' vs '今天天气很好': 0.0231 (语义无关)
# '我喜欢吃苹果' vs '这辆车很快': -0.0512 (语义无关)

Embedding可视化

高维向量（如768维）无法直接可视化。常用的方法是通过降维技术将高维向量映射到2D或3D空间中展示：

• t-SNE（t-Distributed Stochastic Neighbor Embedding）：非线性降维，擅长保持局部结构，适合可视化聚类
• PCA（Principal Component Analysis）：线性降维，速度快，适合初步探索
• UMAP（Uniform Manifold Approximation and Projection）：兼顾局部和全局结构，效果通常优于t-SNE