文本向量系列-如何基于拼音构建字向量

from pypinyin import pinyin
pinyin('我爱你中国')

from itertools import chain
from collections import Counter

text = '''随着互联网, 尤其是移动互联网的快速发展, 社交媒体已经变成人们交流和传递思想的主要平台。每天从社交平台上产生的信息交互量难以估计。面对如此海量的消息, 如何进行科学的有效管理, 已成为当前的研究热点。根据中国互联网发展统计报告, 文本信息已占网络资源的70%以上, 是互联网中信息传播的主要载体, 每天从网络中产生的文本信息量在TB级别以上。在文本处理领域, 一般将文本信息分为长文本和短文本。互联网产生的数据大多数以短文本为主, 如腾讯空间说说、新浪微博、百度知识问答和淘宝商品的评价等。相对于传统大篇幅的长文本, 人们更容易接受以短文本的形式进行交流。如新浪微博限制其消息字数为140, 知识问答都是以简略语句的形式来概括。短文本能更好的表达出人们的情绪, 人们更喜欢以几个字甚至一个表情来表达自己的情感倾向。如何使用机器学习的相关方法对这些数据进行分析, 挖掘出有用的信息, 从而更好的利用互联网改善人民的生活已经变得日趋重要, 如帮助商家提供决策, 以使其利益最大化, 帮助用户更有效的提高产品体验, 是当前文本挖掘的重要课题。'''
zi = chain(*pinyin(text))
chars = chain(*zi)
char_counts = Counter(chars)
print(char_counts)

# 求所有的字符
unique_chars = sorted(char_counts.keys())
print(unique_chars)

# 构建词典
dictionary = dict(zip(unique_chars, range(len(unique_chars))))
dictionary

import numpy as np
def vectorize(word, dictionary):
    # 字转拼音
    chars = pinyin(word)[0][0]
    # 统计拼音中出现的字符个数
    counts = Counter(chars)
    # 构建一个0向量
    vector = np.zeros((len(dictionary)))
    # 使用字符频率给向量元素赋值
    for char, cnt in counts.items():
        index = dictionary[char]
        vector[index]=cnt
    return vector
    
vectorize('长', dictionary)