使用canopy生成和k-means聚类对新闻进行聚类

最新推荐文章于 2024-03-08 23:06:38 发布

杨鑫newlfe

最新推荐文章于 2024-03-08 23:06:38 发布

阅读量3.9k

点赞数

分类专栏： Java 大数据挖掘与大数据应用案例

本文链接：https://blog.csdn.net/u012965373/article/details/50754420

版权

大数据挖掘与大数据应用案例同时被 2 个专栏收录

536 篇文章 1676 订阅 ¥9.90 ¥99.00

订阅专栏

Java

427 篇文章 33 订阅

订阅专栏

<strong><span style="font-size:18px;">/****
 * @author YangXin
 * @info 使用canopy生成和k-means聚类对新闻进行聚类
 */
package unitNine;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
import org.apache.lucene.analysis.Analyzer;
import org.apache.mahout.common.HadoopUtil;
import org.apache.mahout.math.VectorWritable;
import org.apache.mahout.vectorizer.DictionaryVectorizer;
import org.apache.mahout.vectorizer.DocumentProcessor;
import org.apache.mahout.vectorizer.tfidf.TFIDFConverter;
public class ReutersToSparseVectors {
	  public static void main(String args[]) throws Exception {
		    
		    int minSupport = 5;
		    int minDf = 5;
		    int maxDFPercent = 95;
		    int maxNGramSize = 1;
		    float minLLRValue = 50;
		    int reduceTasks = 1;
		    int chunkSize &#

了解本专栏