splunk入门.doc

IT专业搜索引擎
欢迎使用splunk 3.3
u 第一节：简介
n 使用手册
Ø 入门学习
Ø 不是用来自学的文档，需要老师指导
Ø 不需要分发
n 课程目标
Ø 理解什么是splunk以及他是如何工作
Ø 了解splunk web如何浏览搜索结果
Ø 理解splunk搜索语言
Ø 创建现有搜索条件和警示
Ø 收集和分享团队使用标记和其他技术的相关知识
Ø 采用最实用的练习
Ø 知道在那儿，如何获得帮助
n Splunk能做什么
Ø 索引
Ø 搜索
Ø 报警
Ø 报表
Ø 共享
Ø 延伸能力
延伸能力
Ø 延伸能力
Ø 安全性
u 第二节 访问splunk
n Splunk访问方式
Ø Splunk web接口
Ø 命令行接口
Ø 应用程序级脚本
Ø Splunk工具条

n 用户角色与权限
Ø 不同的用户类型对应不同的访问权限
Ø Splunk系统管理员能改变用户类型
n 普通用户
·不能搜索其他用户历史，或内部索引
·不能创建警报
·不能定义用户，增加数据
·不能标记
n 权限用户
·能搜索其他用户历史，或内部索引
·能创建警报
·不能定义用户，增加数据
n 系统管理员
·能做权限用户做的任何事情
·能创建新用户
·能导入数据
·其他更多
n 超级管理员
·能定义角色
n Splunk web主界面

Ø 登录页面
·首先映入眼帘是图表，报表和搜索结果
Ø 缺省界面
·连接到指南
·有用搜索
Ø 完整配置
·创建全新
·你能个性化定制
·管理员配置
n 搜索框
Ø 任何类型事情，――就像一个web搜索引擎
·允许限制时间范围
·一些有益建议
a. 搜索内容加入前导通配符“*”这样就不受限制你想要的结果
b. 如果搜索一个问题，试试 “fail*”or “error”
c. 类型前尽可能少的字符
d. 试试任何你期望的文字：名字，IDs,email IP等
n 逐项搜索
Ø 在搜索事件加入任何事项或关键字
Ø 关键字不区分大小写
Ø 通配符
·能用在任何地方
·*,fail*,*fail*
Ø 引号标记
·搜索短语
·“foo bar“
n 创建搜索
Ø 支持多关键字，无需在关键字中间加AND
·例如 error failed 404
Ø 布尔运算 必须大写（AND,OR,NOT）
Ø 在OR和复杂表达式之间用圆括号
·“authentication failure” AND (user =root OR USER = TEST )
Ø 赋值顺序：（），OR,AND,NOT
n 限制为索引搜索
Ø 搜索修饰
Ø 索引 ＝ 索引名
Ø 索引 ＝ 主要的（缺省情况）
Ø 索引 ＝ 样本数据
Ø 索引 ＝ 解决内部歧义性
Ø 索引 ＝内部跟踪索引信息
Ø 管理员增加的索引
Ø 应用程序增加的索引
n 实验
第三节 浏览搜索结果
n 滚动到搜索结果
Ø 针对任何搜索出来的结果
·搜索项高亮
·结果条数，日期 ，摘要 同时产生
Ø Splunk通过滚动让你找到最想要的结果
Ø 红线表明当前列表的时间范围

n 按结果浏览
Ø 滚动到搜索结果，标出关键字并且高亮显示
·Splunk在一个项目中索引所有的关键字
Ø 利用结果
· 点击项目添加到搜索
a. 多个关键字隐含and
b. 再次点击从搜索里移除
·按住alt键 点击从搜索中排除的项目
a. AND NOT
b. 快速清除不需要的项目
n 按时间浏览
Ø 如果你知道事件发生的时间你可以用查找键搜索
Ø 你能用时间限制搜索:比如天,小时,分等
· 时间下限
· 用搜索修饰符：例如几秒前 几天前 几小时前
· using search modifiers
· - startminutesago=x
· - starthoursago=x
· - startdaysago=x
· 用时间段
· 用时间戳在你的搜索结果里设置自定义时间范围
n 用时间段浏览
Ø 提供一个可见的指示
Ø 用于精确搜索
· 通过双击时间阀放大
· 放大缩小图标
· 点击或者拖动用于选择更多的时间段
· 单击一条限制搜索这个时间段
· 按住shift一次选择多个时间段
· 单击左右箭头显示更多时间的活动
· 选择所有连接返回到原始时间段
·
n 用时间戳
Ø 你有一个错误你想知道它在什么时候发生的
Ø 点击事件的时间戳
Ø 清除搜索框 并返回
Ø 返回在这个时间的所有事件
n 时刻快照
Ø 保存您的搜索作为快照
Ø 能恢复到任何一个早期搜索
Ø 追溯每一步
n 参数定制
Ø 显示时刻
· 复选框控制时间开关
·
· 这个选项用于快速搜索结果
Ø 显示字段
· 隐藏或显示特殊字段
· Fields off:
·
· Fields on:
·
· 这个也是用于快速搜索结果
Ø 包装结果
· 用于控制视图
Ø 每个事件占一行
· 重要的信息在前面几行
练习未翻译
u 第四节 字段使用
n 字段
Ø 事件的一部分，能用到事件中也能用于搜索
Ø 一些字段被保存到索引中：资源 资源类型 主机 分界符，还有其它被splunk系统管理员定义的
Ø 一些字段是在搜索中提取的：自动识别名称与值对，你创建的事件类型，也能被系统管理员配置
Ø Splunk允许你通过字段值过滤结果
n
n 按字段过滤
Ø 通过字段过滤 在当前搜索中选择结果子集
Ø 每个字段都有一个下拉菜单
· 默认有10个值显示
· 选择一个字段用于过滤结果
· 再次打开用于更新或者改变当前的过滤条件
· 你能生成报表生成器
n 从过滤到搜索
Ø 增加到搜索
· 一但你发现正确的过滤
· 点击连接增加到你的搜索
· 不要忘记清除过滤器
·
·
u 第五节 标点及事件类型
n 标点及事件类型
Ø 标点是：一个字段 基于在事件中的标点字符自动分派给事件，是一种分类数据发现相似事件的手段
Ø 事件类型是：基于搜索的字段；是一重分类搜索数据与警示的手段，能被用户创建，帮助用户获取与分享知识
n 标点符号例子
Ø 从字段菜单中选择标点符号
Ø 点击其中一个符号
Ø 指明用相同符号标示的事件是相似的
Ø
n 保存标点符号作为一个事件
Ø 如果标点符号与搜索项关联一事件集，保存它作为一个事件类型
Ø 每个事件与标记都能用在搜索中
Ø
n 保留和使用一个事件类型

搜索例子拷贝
n 另一种创建事件类型的方式
Ø 搜索技巧
Ø 选择发现事件类型 从下拉的搜索框里
Ø 检查结果：标点 关键字 数量百分率 例子
Ø 如果同意 增加到事件类型
Ø 指定名字和标记
Ø 能在其它搜索中用
n 发现事件类型的例子

n 使用事件类型和标记的方法
Ø 为用户创建的每一个不同组的事件保存事件类型
· 结合标点与字符来报告URL字符串
· 错误碼及其上下文环境
Ø 从不同的应用中标记事件类型
· 所有的错误，登记等
Ø 保存事件类型并标记“OK”去除冗余数据
· 日常搜索如 “NOT eventtypetag=ok”

u 第六节 报表
n 从搜索到报表
Ø 从下拉字段过滤菜单快速运行报表

• ...or move to the report builder

n 使用报表创建器
Ø 选择字段:
- 用字段报告
- n 代表数字字段
- 每个字段都有个对应的使用频率
- 每个字段都对应一个独立的计数值
• 点击所有事件能够得到所有结果条数

n 统计分析
Ø 有一系列下拉框
· 选择你想要的统计
· 增加到系列中用于比较不同的值

Ø 可用运算
- 分数
- 计数
平均 求和 最大 最小
中间数 求模 标准差 方差 百分数
Ø 根据你的选择将报表语法加到你的搜索框中

n 图形与图表
• 几种不同的图形与图表用于信息的可视化
· 选择更合适的表达你的数据：柱状图，折线图，区域图，饼图，圆环图等

n 非常正式的图表

练习5 未翻译
u 第七节 保存搜索和警示

n 能做什么呢?
• 你有个很好的搜索工具,
你准备怎么用它呢?
- 保留它，和其他人分享 放到仪表盘 或者日程表上

n 警示
• 一个保存的搜索能够运行日程表并发送警示基于这个搜索结果
提醒可通过email, RSS形式
Splunk can 捕捉到 shell 脚本
-还有更多复杂的实用的功能

n 搜索结果选项

n 搜索格式
• 用$括住搜索的部分
503 OR 500 OR 404 sourcetype=access_common $user$

• 提供选择
sourcetype=_trade_entry AND TradeID="$Trade ID$" AND
TradeType $TradeType=Accepted,Rejected,Hold$
n 管理保存的搜索

n 永久链接
• 选择永久链接从下拉箭头到搜索框的左边
• 浏览器的地址栏中链接被显示
•用永久链接去链接搜索及结果
• 发送给感兴趣的人

u 第八节 高级搜索语法规则
n Splunk 搜索规则
Splunk’s 搜索语言是简单的结构化的
• 到目前为止我们已经用的搜索命令都是搜索语言的一部分
• 使用完整的splunk搜索语言能够产生强有力的搜索性能
• 所有的搜索语法在下边的文档里:
-
n 搜索结构
• 搜索命令在Splunk Web上有介绍
关键字 语法 通配符 布尔 比较运算符
- =, !=, <, >, <=, >=
• 搜索是一个能产生数据的命令
‣ 搜索结果能被重定向到数据处理器及其他搜索
n 搜索管道
Ø 搜索结果能被重定向到其他命令
搜索结果中能执行数据处理命令
例如：排序 根据需要排序搜索结果
‣ 默认升序 除非指定降序
Ø regex（正则表达式）
· 正则表达式过滤
sendmail | regex user!=john*
Ø Fields（字段）
‣ 返回字段的一个子集像SQL语句一样

n 数据处理命令分类
Ø 数据处理命令
太多的条目列不完 请看

分类如下表

n 子搜索

Ø •搜索能被嵌套在其它搜索中作为一个子搜索
Ø 子搜索
· 用[]包住
· 被首先解析执行
· 子搜索返回值被直接传给外层搜索
• 例如:
index=sampledata 200 [search index=sampledata 500 | top action
| search count > 2 | fields + action]方法