实时即未来,大数据项目车联网之创建Flink实时计算子工程【二】

文章目录

    • 写在前面
      • 车联网项目全新升级
    • 创建Flink实时计算子工程
      • 1 在原工程下创建实时分析子模块
      • 2 导入实时分析子模块pom依赖
      • 3 配置实时分析子模块资源文件

创建Flink实时计算子工程

1 在原工程下创建实时分析子模块

总工程结构设计

image-20221007104839487

创建StreamingAnalysis工程

img
img

设置打包类型为:jar

img

2 导入实时分析子模块pom依赖

l 工程包目录

img

3 配置实时分析子模块资源文件

img

conf.properties

代码语言:javascript
复制
# mysql configuration
jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://node03:3306/vehicle_networking?characterEncoding=utf8&useSSL=false
jdbc.user=root
jdbc.password=123456
jdbc.dataSource.size=10

hdfsUri

hdfsUri=hdfs://node01

#ZK configuration
zookeeper.clientPort=2181
zookeeper.quorum=node01,node02,node03

kafka configuration

kafka.topic=vehicledata
bootstrap.servers=node01:9092,node02:9092,node03:9092

mongoDB configuration

mongo.host=node03
mongo.port=27017
mongo.userName=itcast
mongo.password=itcast
mongo.source=itcast

redis configuration

redis.host=node03
redis.port=6379
redis.password=null
redis.database=0
redis.session.timeout=1000
redis.key.timeout=900

vehinfo match sleep millionseconds

vehinfo.millionseconds=18000000
ruleinfo.millionseconds=100000
elerules.millionseconds=300000

logback.xml

注意log4j的jar包冲突问题

代码语言:javascript
复制
<?xml version="0" encoding="UTF-8"?>

<configuration>
<!--http://logback.qos.ch/manual/configuration.html-->
<!--设置日志输出到控制台-->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<!-- encoder的默认实现类是ch.qos.logback.classic.encoder.PatternLayoutEncoder -->
<encoder>
<pattern>%date %level [%thread] %logger{10} [%file:%line] %msg%n</pattern>
</encoder>
</appender>
<!-- name值可以是包名或具体的类名:该包(包括子包)下的类或该类将采用此logger -->
<logger name="com.john.logging.b" level="INFO" additivity="false">
<appender-ref ref="STDOUT" />
</logger>

&lt;!--设置日志输出为文件--&gt;
&lt;appender name=&#34;FILE&#34; class=&#34;ch.qos.logback.core.FileAppender&#34;&gt;
    &lt;file&gt;debug.log&lt;/file&gt;
    &lt;encoder&gt;
        &lt;pattern&gt;%date %level [%thread] %logger{10} [%file:%line] %msg%n&lt;/pattern&gt;
    &lt;/encoder&gt;
&lt;/appender&gt;

&lt;!--日志输出级别--&gt;
&lt;root level=&#34;DEBUG&#34;&gt;
    &lt;appender-ref ref=&#34;STDOUT&#34; /&gt;
    &lt;appender-ref ref=&#34;FILE&#34; /&gt;
&lt;/root&gt;

</configuration>