ITeye博客

weihong01267的博客

weihong01267 · 共 69 篇文章

Elasticsearch-RoaringBitmap es v6.2.4的大数据精准去重计数实现版

Elasticsearch-RoaringBitmap es v6.2.4的大数据精准去重计数实现版 本人参照其他人的开源版本实现的es v6.2.4的大数据精准去重计数plugin https://gitee.com/weihonghong/Elasticsearch-RoaringBitmap

2021-12-20 10:04 · 大数据 · 评论(0)

kettle 连接 presto

1.把presto jdbc驱动 放到 kettle的lib目录下 2.打开kettle建立数据库连接 选中连接类型为Generic database 3.Dialect 选Generic database 4.URL jdbc:presto://192.168.28.12:8080 5. 驱动类名称:com.facebook.presto.jdbc.PrestoDriver 6.用户名:自己的用户名

2021-10-09 17:52 · kettle presto · 评论(0)

spoon kettle : Truncated incorrect DOUBLE value

今天使用kettle 进行ETL,插入更新组件提示:Truncated incorrect DOUBLE value, 因为无法看到组件sql,无从着手,于是使用wireshark 抓取mysql数据包, 得到sql为: update user set name='123' where id=3456 原来id我是设置的varchar,所有sql where id=3456 必须加单引号啊,因此通过kettle javascript组件添加一个新参数=''+3456转换为字符串,问题顺利解决

2021-03-08 13:29 · 大数据 · 评论(0)

sparksql优化

可通过 调节此参数spark.sql.shuffle.partitions,,spark.conf().set("spark.sql.shuffle.partitions",60); 来控制sql shuffle task的数量

2021-03-05 13:28 · 大数据 · 评论(0)

org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: Connection error (ch

org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings)- all nodes failed; no nodes left socket time out 问题解决: 查看配置文件 org.elasticsearch.hadoop.cfg.Settings 发现存在es.http.timeout 配置项 添加配置 esOptions.put("es.http.timeout", "4m") 问题顺利解决

2021-02-25 16:32 · spark · 评论(0)

es 7.4.2+spark2.0 访问es

pom.xml <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark-20_2.11</artifactId> <version>7.4.2</version> </dependency> 代码 private static Map<String, String> getEsConf() { Map<String, String> esOptions = new HashMap<String, String>(); esOptions.put("es.nodes", "ip"); e…

2020-12-16 15:17 · 大数据 · 评论(0)

top jstack

用ps -ef | grep tomcat 查出tomcat运行的进程id 用top -Hp pid 查询进程下所有线程的运行情况(shift+p 按cpu排序,shift+m 按内存排序) top -Hp 30316 找到cpu最高的pid,用printf ‘%x\n’ pid 转换为16进制 用jstack 进程id | grep 16进制线程id 找到线程信息 jstack 30316 | grep -A 20772a 作者:二月夜 链接:https://www.jianshu.com/p/f59ee619c165 来源:简书 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请…

2020-08-26 14:44 · java · top jstack · 评论(0)

spoon kettle 通过sapjco3 连接sap 找不到 ashost

spoon kettle 通过sapjco3 连接sap 找不到 ashost : 解决办法: 设置host 并设置ashost 使用该域名连接否则偶尔会找不到ashost 昨天以为会自动生成sap_hana.jcoDestination所以把放ktr文件目录里面的sap_hana.jcoDestination删除了,结果今天又报错,恢复后正常 ,这几天又报错了。。。 网上大概是说每次都要删除这个文件 加了shell组件在job里面运行完就删除这个文件,貌似又正常了

2020-08-17 19:18 · sapjco 找不到 ashost · 评论(0)

hive mapredtask 错误解决

今天执行 一个hive sql 报错return code 2 mapredtask报错: 查看mapreduce任务日志显示:gc over head limit 内存不够 检查sql发现子查询了全表进行group by 果断加上时间过滤条件 问题解决

2020-05-18 14:42 · hadoop · 评论(0)

hive on spark 优化关键参数

set mapred.max.split.size=10000000; set spark.default.parallelism=50;

2020-05-18 10:12 · hive on spark · 评论(0)

pyspark 优化spark分析代码

源代码为使用一段for循环进行数据处理,未使用map进行分布式计算 优化为: log.rdd.repartition(100).map(RowFunction).saveAsHadoopFile() 其中使用repartition(100)进行重新分区,使得之前只有8个分区的task变成了100个task大大的加速了分析速度 (ps:其中又解决了一个乱码问题 ascii unicode乱码导致挂掉了,解决方法: 在 /usr/lib/python2.7/site-packages 加入一个 sitecustomize.py文件 内容为: encoding=utf8 import sys re…

2020-05-13 15:10 · pyspark · 评论(0)

订单商品匹配组合商品

订单商品匹配组合商品,应该拿商品-组合商品关系表 去匹配订单商品

2020-04-26 18:16 · 订单商品匹配组合商品 · 评论(0)

java io 手写mqtt客户端connect,heartbeat

package test; //mqtt协议参考http://www.blogjava.net/yongboy/archive/2014/02/09/409630.html import java.io.*; import java.net.Socket; public class Client { public static final String IP_ADDR = "localhost";//服务器地址 public static final int PORT = 8088;//服务器端口号 public static void main(String[] args) { Syste…

2019-06-20 14:49 · java · mq · 评论(0)

可视化数据结构

1. 可视化数据结构: http://www.cs.usfca.edu/~galles/visualization/Algorithms.html 2. C++实现的各种算法演示: http://people.cs.pitt.edu/~kirk/cs1501/animations/ 3. 很酷的各种排序演示: http://sorting.at/ 4. 很有创意的排序比较(匈牙利 Sapientia 大学的 6 种排序算法舞蹈视频): http://top.jobbole.com/1539/ --------------------- 作者:bigleo 来源:CSDN 原文: https:…

2019-03-20 14:20 · 数据结构 · 评论(0)

idea log乱码

第一步:修改intellij idea 配置文件: 找到intellij idea 安装目录,bin文件夹下面 idea 64.exe.vmoptions和 idea .exe.vmoptions这两个文件,分别在这两个文件中添加:-Dfile.encoding=UTF-8 第二步:找到intellij idea 的file---settings---Editor---FileEncodings的GlobalEncoding和ProjectEncoding和Default encoding for properties都配置成UTF-8 第三步:在部署Tomcat的VM options项中添…

2018-10-16 14:28 · java · 评论(0)