|
|
|
步骤 2 : SolrJ 步骤 3 : 先运行，看到效果，再学习 步骤 4 : 模仿和排错 步骤 5 : 14万条数据 步骤 6 : 关于数据库 步骤 7 : 140k_products.txt 步骤 8 : Product.java 步骤 9 : ProductUtil 步骤 10 : SolrUtil 步骤 11 : TestSolr4j 步骤 12 : 验证提交效果
solr 提供了一种方式向其中增加索引的界面，但是呢。。。不太方便，也和实际工作环境不相符合。
实际工作环境一般都是从数据库里读取数据，然后加入到索引的。很少会通过界面添加索引，因为这样维护更新删除也不方便，尤其是数据量比较大的时候。 那么本教材就会讲解，如何通过程序把数据加入到Solr 索引里。
Solr 支持通过各种各样的语言（如php,javascript, c#, ）把数据加入到索引里，因为本教程主要是基于Java的，所以会使用一个第三方工具SolrJ，使用 Java 语言来把数据加入到索引里。
老规矩，先下载右上角的可运行项目，配置运行起来，确认可用之后，再学习做了哪些步骤以达到这样的效果。
下载右上角的solr4j.rar, 然后运行里面的 TestSolr4j， 一共导入14万条数据，时间比较长，请耐心等待。 完成之后，打开 http://127.0.0.1:8983/solr/#/how2java 左边点击 Query -> 点击 Execute Query 查询之后，可以看到右侧显示查询结果，总数是 147939 条
在确保可运行项目能够正确无误地运行之后，再严格照着教程的步骤，对代码模仿一遍。
模仿过程难免代码有出入，导致无法得到期望的运行结果，此时此刻通过比较正确答案 ( 可运行项目 ) 和自己的代码，来定位问题所在。 采用这种方式，学习有效果，排错有效率，可以较为明显地提升学习速度，跨过学习路上的各个槛。 推荐使用diffmerge软件，进行文件夹比较。把你自己做的项目文件夹，和我的可运行项目文件夹进行比较。 这个软件很牛逼的，可以知道文件夹里哪两个文件不对，并且很明显地标记出来 这里提供了绿色安装和使用教程：diffmerge 下载和使用教程
为了模仿真实环境，花了很多精力，四处搜刮来了14万条天猫的产品数据，接下来我们就会把这14万条记录加入到 Solr,然后观察搜索效果。
这14万条记录放在右上角 140k_products.rar，其解析办法在后续会讲解
本来应该先把这14万条记录保存进数据库，然后再从数据库中取出来的，不过考虑到不是每个同学都有JDBC基础，以及放进数据库的繁琐，和14万条数据从数据库里读取出来的时间消耗，就改成直接从文件里读取出来，然后转换为泛型是Product的集合的形式，相当于从数据库里读取出来了，不过会快很多。
首先下载 140k_products.rar,并解压为140k_products.txt， 然后放在项目目录下。 这个文件里一共有14万条产品记录。
准备实体类来存放产品信息
注： 每个字段上都有@Field 注解，用来告诉Solr 这些和 how2java core里的字段对应 package how2java;
import org.apache.solr.client.solrj.beans.Field;
public class Product {
@Field
int id;
@Field
String name;
@Field
String category;
@Field
float price;
@Field
String place;
@Field
String code;
public int getId() {
return id;
}
public void setId(int id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getCategory() {
return category;
}
public void setCategory(String category) {
this.category = category;
}
public float getPrice() {
return price;
}
public void setPrice(float price) {
this.price = price;
}
public String getPlace() {
return place;
}
public void setPlace(String place) {
this.place = place;
}
public String getCode() {
return code;
}
public void setCode(String code) {
this.code = code;
}
@Override
public String toString() {
return "Product [id=" + id + ", name=" + name + ", category=" + category + ", price=" + price + ", place="
+ place + ", code=" + code + "]";
}
}
工具类，把 140k_products.txt 文本文件，转换为泛型是Product的集合
package how2java;
import java.awt.AWTException;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.commons.io.FileUtils;
public class ProductUtil {
public static void main(String[] args) throws IOException, InterruptedException, AWTException {
String fileName = "140k_products.txt";
List<Product> products = file2list(fileName);
System.out.println(products.size());
}
public static List<Product> file2list(String fileName) throws IOException {
File f = new File(fileName);
List<String> lines = FileUtils.readLines(f,"UTF-8");
List<Product> products = new ArrayList<>();
for (String line : lines) {
Product p = line2product(line);
products.add(p);
}
return products;
}
private static Product line2product(String line) {
Product p = new Product();
String[] fields = line.split(",");
p.setId(Integer.parseInt(fields[0]));
p.setName(fields[1]);
p.setCategory(fields[2]);
p.setPrice(Float.parseFloat(fields[3]));
p.setPlace(fields[4]);
p.setCode(fields[5]);
return p;
}
}
工具类，用来把产品集合批量增加到Solr. 这里就用到了SolrJ第三方包里的api了。
package how2java;
import java.io.IOException;
import java.util.List;
import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.beans.DocumentObjectBinder;
import org.apache.solr.client.solrj.impl.HttpSolrClient;
import org.apache.solr.common.SolrInputDocument;
public class SolrUtil {
public static SolrClient client;
private static String url;
static {
url = "http://localhost:8983/solr/how2java";
client = new HttpSolrClient.Builder(url).build();
}
public static <T> boolean batchSaveOrUpdate(List<T> entities) throws SolrServerException, IOException {
DocumentObjectBinder binder = new DocumentObjectBinder();
int total = entities.size();
int count=0;
for (T t : entities) {
SolrInputDocument doc = binder.toSolrInputDocument(t);
client.add(doc);
System.out.printf("添加数据到索引中，总共要添加 %d 条记录，当前添加第%d条 %n",total,++count);
}
client.commit();
return true;
}
}
得到14万个产品对象，然后通过SolrUtil 工具类提交到Solr 服务器
package how2java;
import java.io.IOException;
import java.util.List;
import org.apache.solr.client.solrj.SolrServerException;
public class TestSolr4j {
public static void main(String[] args) throws SolrServerException, IOException {
List<Product> products = ProductUtil.file2list("140k_products.txt");
SolrUtil.batchSaveOrUpdate(products);
}
}
package how2java;
import java.io.IOException;
import java.util.List;
import org.apache.solr.client.solrj.SolrServerException;
public class TestSolr4j {
public static void main(String[] args) throws SolrServerException, IOException {
List<Product> products = ProductUtil.file2list("140k_products.txt");
SolrUtil.batchSaveOrUpdate(products);
}
}
打开
http://127.0.0.1:8983/solr/#/how2java 左边点击 Query -> 点击 Execute Query 查询之后，可以看到右侧显示查询结果，总数是 147939 条
HOW2J公众号，关注后实时获知最新的教程和优惠活动，谢谢。
问答区域
2022-09-21
这添加一百多万数据在手机上面能跑一小时
2020-05-11
链接有问题
2 个答案
dzzdzz611 跳转到问题位置 答案时间：2021-06-21 是不是自定义了名字 改成自己的
鸡你太美噢北北 跳转到问题位置 答案时间：2020-09-14 solr服务是不是没开？
回答已经提交成功，正在审核。 请于 我的回答 处查看回答记录，谢谢
2020-04-14
报错
2019-12-04
索引是什么意思 是指的这14万条数据吗
2019-02-28
疑问
提问太多，页面渲染太慢，为了加快渲染速度，本页最多只显示几条提问。还有 2 条以前的提问，请 点击查看
提问之前请登陆
提问已经提交成功，正在审核。 请于 我的提问 处查看提问记录，谢谢
|
|||||||||||||
