顾名思义,这是对tersor(张量)格式的string(字符串)进行操作的函数,并且返回的是稀疏张量--稀疏张量就是稀疏矩阵!只不过是Tensor的格式
'''
稀疏矩阵与稠密矩阵:
我们知道自然语言处理中有One-hot和词向量两个表示方法
这个One-hot就是稀疏矩阵的一种,词向量就是稠密矩阵的一种
注意!!我们下面说的稀疏矩阵和这个one-hot一点关系都没有
上面one-hot和词向量对比的例子纯粹是为了方便大家理解而说的
因为每次谈到稀疏矩阵,很多萌新就表示不理解
'''
先拿官方函数说事
tf.string_split函数
tf.string_split(
source,
delimiter=' ',
skip_empty=True
)
'''
@函数意义:将基于 delimiter[分隔符,默认是空格] 的 source[我们要分割的数据] 的元素拆分为 SparseTensor[sparseTensor就是稀疏张量,其实格式和稀疏矩阵一毛一样].
@source:需要操作的对象,一般是[字符串或者多个字符串]构成的列表;---注意是列表哦!!!
@delimiter:分割符,默认空字符串
@skip_empty:默认True,暂时没用到过
'''
官方非常含糊,其实这里的要点就只有两个:
??? 1.输入的数据必须是列表的格式传入函数------也就是source必须用[ ]包含
??? 2.返回的是系数矩阵。
关于系数矩阵,可以暂且理解为记载有元素的位置和值的矩阵---我知道你们肯定没听懂[(⊙﹏⊙)b]但是稀疏矩阵属于scipy的知识。一时半会讲不来,看下面即可。
我们自己举栗子看看:
# 当对象是一个字符串
a = 'we do it'
tf.string_split([a])
# 返回值如下
SparseTensorValue(indices=array([[0, 0],[0, 1],[0, 2]]),
values=array(['we', 'do', 'it'], dtype=object),
dense_shape=array([1, 3]))
# 当对象是多个字符串
b = 'we can do it'
c = [a,b]
tf.string_split(c)
# 返回值如下
SparseTensorValue(indices=array([[0, 0],
[0, 1],
[0, 2],
[1, 0],
[1, 1],
[1, 2],
[1, 3]], dtype=int64), values=array(['we', 'do', 'it', 'we', 'can', 'do', 'it'], dtype=object), dense_shape=array([2, 4], dtype=int64))
可以看到几个要点:
1.传入的元素是字符串,但是必须是列表包括进去,不然会报格式错误!
2.返回了稀疏矩阵(SparseTensorValue)的下标(indices),和值(value),以及类型,和输入数据的维度(dense_shape)
3.到这一步已经很明显了,这个函数有split()的作用,可以从value获取我们要的东西。
?
返回值有三个参数,一个是indices,一个是values,一个是dense_shape.
理解就在这一步了,这些返回值分别代表:
1. indices 表示分词后的词的下表,和values一一对应:
????? tf.string_split([a]) 返回 [[0, 0],[0, 1],[0, 2]] :
?????? ?? [0,0]代表了第一句的第一个词的坐标,即`we`;
????? ? ? [0,1]代表了第一句的第二个词的坐标,即'do';
???? ?? ? [0,2]代表了第一句的第三个词的坐标,即'it';
????? 同理, tf.string_split(c) 返回了如下:
???? ? ? [[0, 0],??????? 第一句的第一个词的坐标,即`we`
???? ?? ? [0, 1],??????? 第一句的第二个词的坐标,即`do`
???? ?? ? [0, 2],??? ? ? 第一句的第三个词的坐标,即`it`
?? ?? ??? [1, 0],??? ? ? 第二句的第一个词的坐标,即`we`
??? ?? ?? [1, 1],??? ? ? 第二句的第二个词的坐标,即`can`
??? ?? ?? [1, 2],??? ? ? 第二句的第三个词的坐标,即`do`
??? ?? ?? [1, 3]]??? ? ? 第二句的第四个词的坐标,即`it`
2. values.分割后的数据内容,返回的是一维向量!!经常可以用这个把一篇文档所有分词后的词扔入一个向量中
3. dense_shape.分割前的维度是多少,会按最长的那个句子填充!!!