网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

python的tf函数 python flatten函数

文本特征提取

在对文本数据进行处理时,很大一部分精力都用在数据集的特征提取上,因此记录一下常用的文本特征提取方法。

创新互联公司专注为客户提供全方位的互联网综合服务,包含不限于成都做网站、网站制作、临县网络推广、微信小程序定制开发、临县网络营销、临县企业策划、临县品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联公司为所有大学生创业者提供临县建站搭建服务,24小时服务热线:18980820575,官方网址:www.cdcxhl.com

文本特征提取一般分为两部分

(1)文本本身属性:元音字数数、辅音字母数、···

(2)基于文本的特征提取:TF-IDF等

比如提取以上文档的特征,基于文本本身可以提取特征:

(1)字数:统计每一行text文本的词汇数量(有多少个单词)

(2)非重复单词数量:统计每一行text文本中只出现一次的单词个数

(3)长度:每一行text的长度,占了多少存储空间(包含空格、符号、字母等的长度)

(4)停止词数量统计:between、but、about、very等词汇的数量统计

(5)标点符号数量:每一行text中包含的标点符号数量

(6)大写单词数量:统计大写单词数量

(7)标题式单词数量:统计单词拼写首字母是否为大写,且其他字母为小写的单词数量

(8)单词的平均长度:每一行text中每个单词长度的平均值

这些特征的提取不涉及复杂的函数计算,基于文本本身属性提取直观信息作为模型训练的特征。

·

TF-IDF算法 :计算单词权重最为有效的实现方法就是TF-IDF, 它是由Salton在1988 年提出的,以特征词在文档d中出现的次数与包含该特征词的文档数之比作为该词的权重。

python中使用TfidfVectorizer函数实现TF-IDF特征的提取,生成每个text的TF-IDF特征。

·

经过TF-IDF特征提取后,数据集的特征变量超级多(TF-IDF计算了整个数据集出现的所有单词对每个test的权重),面对这样庞大的特征数据,可以通过SVD实现对数据集的压缩。

SVD的原理是将庞大的TF-IDF生成的数据集A进行拆分,设置K值(想要压缩得到的维度,例如K=20,压缩后得到20列的特征数据集)X就是只有K个特征转换后的数据集。

经过压缩后的TF-IDF只有K列,与01中 基于文本本身特征 合并,即为文本数据集的特征向量。

python tf.random_uniform与np.random_uniform有什么区别

首先应该是np.random.uniform

这两个回答多少有点大病

两者虽然函数名相同,但属于不同的库,一个是TensorFlow的,一个是numpy的。

就好比你家也有冰箱我家也有冰箱一样。

tf.random.uniform的属性变量包括:

shape: 输出张量的形状,比如矩阵或者向量的维度

mean: 正态分布的均值,默认为0

stddev: 正态分布的标准差,默认为1.0

dtype: 输出的类型,默认为tf.float32

seed: 随机数种子,是一个整数,当设置之后,每次生成的随机数都一样

name: 操作的名称

np.random.uniform的属性变量包括:

low: 采样下界,float类型,默认值为0

high: 采样上界,float类型,默认值为1

size: 输出样本数目,为int或元组(tuple)类型

tensorflow是生成均匀分布,而numpy则是在分布中做随机采样

python中tf.summary.scalar是什么意思

tensorflow总结的时候需要给个名字,其实这个函数就是让画出来的tensorflow的图的节点的名字有一点实际意义,比如整个网络的名字是xxx,就可以使用tf.summary.scalar(xxx,loss),后面的lossy可以替换成网络自己的loss.

具体参考:


分享题目:python的tf函数 python flatten函数
转载源于:http://bjjierui.cn/article/doshdjd.html

其他资讯