how2j.cn

下载区
文件名 文件大小
140k_products.rar 4m
solr4j.rar 10m
步骤 1 : 如何创建索引   
步骤 2 : SolrJ   
步骤 3 : 先运行,看到效果,再学习   
步骤 4 : 模仿和排错   
步骤 5 : 14万条数据   
步骤 6 : 关于数据库   
步骤 7 : 140k_products.txt   
步骤 8 : Product.java   
步骤 9 : ProductUtil   
步骤 10 : SolrUtil   
步骤 11 : TestSolr4j   
步骤 12 : 验证提交效果   

步骤 1 :

如何创建索引

edit
solr 提供了一种方式向其中增加索引的界面,但是呢。。。不太方便,也和实际工作环境不相符合。
实际工作环境一般都是从数据库里读取数据,然后加入到索引的。很少会通过界面添加索引,因为这样维护更新删除也不方便,尤其是数据量比较大的时候。
那么本教材就会讲解,如何通过程序把数据加入到Solr 索引里。
如何创建索引
Solr 支持通过各种各样的语言(如php,javascript, c#, )把数据加入到索引里,因为本教程主要是基于Java的,所以会使用一个第三方工具SolrJ,使用 Java 语言来把数据加入到索引里。
SolrJ
步骤 3 :

先运行,看到效果,再学习

edit
老规矩,先下载右上角的可运行项目,配置运行起来,确认可用之后,再学习做了哪些步骤以达到这样的效果。
下载右上角的solr4j.rar, 然后运行里面的 TestSolr4j, 一共导入14万条数据,时间比较长,请耐心等待。
完成之后,打开

http://127.0.0.1:8983/solr/#/how2java

左边点击 Query -> 点击 Execute Query 查询之后,可以看到右侧显示查询结果,总数是 147939
先运行,看到效果,再学习
在确保可运行项目能够正确无误地运行之后,再严格照着教程的步骤,对代码模仿一遍。
模仿过程难免代码有出入,导致无法得到期望的运行结果,此时此刻通过比较正确答案 ( 可运行项目 ) 和自己的代码,来定位问题所在。
采用这种方式,学习有效果,排错有效率,可以较为明显地提升学习速度,跨过学习路上的各个槛。

推荐使用diffmerge软件,进行文件夹比较。把你自己做的项目文件夹,和我的可运行项目文件夹进行比较。
这个软件很牛逼的,可以知道文件夹里哪两个文件不对,并且很明显地标记出来
这里提供了绿色安装和使用教程:diffmerge 下载和使用教程
为了模仿真实环境,花了很多精力,四处搜刮来了14万条天猫的产品数据,接下来我们就会把这14万条记录加入到 Solr,然后观察搜索效果。
这14万条记录放在右上角 140k_products.rar,其解析办法在后续会讲解
本来应该先把这14万条记录保存进数据库,然后再从数据库中取出来的,不过考虑到不是每个同学都有JDBC基础,以及放进数据库的繁琐,和14万条数据从数据库里读取出来的时间消耗,就改成直接从文件里读取出来,然后转换为泛型是Product的集合的形式,相当于从数据库里读取出来了,不过会快很多。
步骤 7 :

140k_products.txt

edit
首先下载 140k_products.rar,并解压为140k_products.txt, 然后放在项目目录下。 这个文件里一共有14万条产品记录。
140k_products.txt
准备实体类来存放产品信息
注: 每个字段上都有@Field 注解,用来告诉Solr 这些和 how2java core里的字段对应
package how2java; import org.apache.solr.client.solrj.beans.Field; public class Product { @Field int id; @Field String name; @Field String category; @Field float price; @Field String place; @Field String code; public int getId() { return id; } public void setId(int id) { this.id = id; } public String getName() { return name; } public void setName(String name) { this.name = name; } public String getCategory() { return category; } public void setCategory(String category) { this.category = category; } public float getPrice() { return price; } public void setPrice(float price) { this.price = price; } public String getPlace() { return place; } public void setPlace(String place) { this.place = place; } public String getCode() { return code; } public void setCode(String code) { this.code = code; } @Override public String toString() { return "Product [id=" + id + ", name=" + name + ", category=" + category + ", price=" + price + ", place=" + place + ", code=" + code + "]"; } }
工具类,把 140k_products.txt 文本文件,转换为泛型是Product的集合
package how2java; import java.awt.AWTException; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.commons.io.FileUtils; public class ProductUtil { public static void main(String[] args) throws IOException, InterruptedException, AWTException { String fileName = "140k_products.txt"; List<Product> products = file2list(fileName); System.out.println(products.size()); } public static List<Product> file2list(String fileName) throws IOException { File f = new File(fileName); List<String> lines = FileUtils.readLines(f,"UTF-8"); List<Product> products = new ArrayList<>(); for (String line : lines) { Product p = line2product(line); products.add(p); } return products; } private static Product line2product(String line) { Product p = new Product(); String[] fields = line.split(","); p.setId(Integer.parseInt(fields[0])); p.setName(fields[1]); p.setCategory(fields[2]); p.setPrice(Float.parseFloat(fields[3])); p.setPlace(fields[4]); p.setCode(fields[5]); return p; } }
工具类,用来把产品集合批量增加到Solr. 这里就用到了SolrJ第三方包里的api了。
package how2java; import java.io.IOException; import java.util.List; import org.apache.solr.client.solrj.SolrClient; import org.apache.solr.client.solrj.SolrServerException; import org.apache.solr.client.solrj.beans.DocumentObjectBinder; import org.apache.solr.client.solrj.impl.HttpSolrClient; import org.apache.solr.common.SolrInputDocument; public class SolrUtil { public static SolrClient client; private static String url; static { url = "http://localhost:8983/solr/how2java"; client = new HttpSolrClient.Builder(url).build(); } public static <T> boolean batchSaveOrUpdate(List<T> entities) throws SolrServerException, IOException { DocumentObjectBinder binder = new DocumentObjectBinder(); int total = entities.size(); int count=0; for (T t : entities) { SolrInputDocument doc = binder.toSolrInputDocument(t); client.add(doc); System.out.printf("添加数据到索引中,总共要添加 %d 条记录,当前添加第%d条 %n",total,++count); } client.commit(); return true; } }
得到14万个产品对象,然后通过SolrUtil 工具类提交到Solr 服务器
package how2java; import java.io.IOException; import java.util.List; import org.apache.solr.client.solrj.SolrServerException; public class TestSolr4j { public static void main(String[] args) throws SolrServerException, IOException { List<Product> products = ProductUtil.file2list("140k_products.txt"); SolrUtil.batchSaveOrUpdate(products); } }
package how2java;
import java.io.IOException;
import java.util.List;
import org.apache.solr.client.solrj.SolrServerException;

public class TestSolr4j {
	public static void main(String[] args) throws SolrServerException, IOException {
		List<Product> products = ProductUtil.file2list("140k_products.txt");
		SolrUtil.batchSaveOrUpdate(products);
	}
}
步骤 12 :

验证提交效果

edit
打开

http://127.0.0.1:8983/solr/#/how2java

左边点击 Query -> 点击 Execute Query 查询之后,可以看到右侧显示查询结果,总数是 147939
验证提交效果


HOW2J公众号,关注后实时获知最新的教程和优惠活动,谢谢。


问答区域    
2022-09-21 这添加一百多万数据在手机上面能跑一小时
曹员外

太慢了







回答已经提交成功,正在审核。 请于 我的回答 处查看回答记录,谢谢
答案 或者 代码至少填写一项, 如果是自己有问题,请重新提问,否则站长有可能看不到




2020-05-11 链接有问题
独孤码神




idea导入的,运行抛异常
加载中

							
Exception in thread "main" org.apache.solr.client.solrj.SolrServerException: Server at http://localhost:8983/#/solr/how2java sent back a redirect (302).
	at org.apache.solr.client.solrj.impl.HttpSolrClient.executeMethod(HttpSolrClient.java:566)
	at org.apache.solr.client.solrj.impl.HttpSolrClient.request(HttpSolrClient.java:255)
	at org.apache.solr.client.solrj.impl.HttpSolrClient.request(HttpSolrClient.java:244)
	at org.apache.solr.client.solrj.SolrRequest.process(SolrRequest.java:194)
	at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:173)
	at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:138)
	at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:152)
	at how2java.SolrUtil.batchSaveOrUpdate(SolrUtil.java:28)
	at how2java.TestSolr4j.main(TestSolr4j.java:12)


2 个答案

dzzdzz611
答案时间:2021-06-21
是不是自定义了名字 改成自己的

鸡你太美噢北北
答案时间:2020-09-14
solr服务是不是没开?



回答已经提交成功,正在审核。 请于 我的回答 处查看回答记录,谢谢
答案 或者 代码至少填写一项, 如果是自己有问题,请重新提问,否则站长有可能看不到





2020-04-14 报错
2019-12-04 索引是什么意思 是指的这14万条数据吗
2019-02-28 疑问


提问太多,页面渲染太慢,为了加快渲染速度,本页最多只显示几条提问。还有 2 条以前的提问,请 点击查看

提问之前请登陆
提问已经提交成功,正在审核。 请于 我的提问 处查看提问记录,谢谢
关于 工具和中间件-搜索引擎技术-创建索引 的提问

尽量提供截图代码异常信息,有助于分析和解决问题。 也可进本站QQ群交流: 578362961
提问尽量提供完整的代码,环境描述,越是有利于问题的重现,您的问题越能更快得到解答。
对教程中代码有疑问,请提供是哪个步骤,哪一行有疑问,这样便于快速定位问题,提高问题得到解答的速度
在已经存在的几千个提问里,有相当大的比例,是因为使用了和站长不同版本的开发环境导致的,比如 jdk, eclpise, idea, mysql,tomcat 等等软件的版本不一致。
请使用和站长一样的版本,可以节约自己大量的学习时间。 站长把教学中用的软件版本整理了,都统一放在了这里, 方便大家下载: https://how2j.cn/k/helloworld/helloworld-version/1718.html

上传截图