《SQL基础教程》简要总结 《设计师要懂心理学》读书笔记 MySQL与MariaDB学习笔记 WDT (Folly) 安装指南 -- CentOS 7 [solved]Page build failed(Jekyll) 数据包过滤及分析实例 tshark tcpdump Scala Tour 学习总结 “Docker容器和容器云”读书笔记(1) “Docker Practice”读书笔记 “图解基础设施设计模式”小结 “图解服务器端网络架构”小结 Python网络安全编程 数据包解析笔记 华为挑战赛(1) DDoS攻击防御与云服务 基于网络回溯分析技术的异常行为分析 “Linux程序设计”小结(进程间通信) C语言编程规范(华为软件精英挑战赛) 2017阿里在线编程题--单源最短路径问题 2017年阿里在线编程题-- 数串分组 Uinx/Linux上的帮助查询命令 你懂C,所以C++不在话下 一篇特别长的总结(C专家编程) 程序员面试金典--笔记(精华篇) C陷阱与缺陷--笔记 半小时搭建电子商务网站--opencart linux网络知识和工具(持续更新) 网卡参数查询及设置工具ethtool 高性能流量生成工具trafgen(DDoS模拟) Linux流量控制工具TC 流量控制工具TC详细说明 tcpdump过滤数据包,结果不对? Lecture 网络攻击与防御技术笔记 gotgit-git权威指南 高效使用MacOS所要知道的 shell内置字符串处理 配置ntp(知其所以然) 360黑客攻防技术分享会--记录 中毒U盘恢复--快捷键病毒 Tor--anonymity network介绍(PPT) IBM bluemix 再读《Linux Shell脚本攻略》 linux shell 学习摘记(9) linux shell 学习摘记(8) linux shell 学习摘记(7) linux shell 学习摘记(6) linux shell 学习摘记(5) linux shell 学习摘记(4) linux shell 学习摘记(3) linux shell 学习摘记(2) linux shell 学习摘记(1) firefox vim 插件 vimperator A Byte of Vim 笔记 windows注册表小知识 安全测试工具篇(开源&商业) 安全及性能测试工具(网站收集) 性能测试工具 屡试不爽的“3个”iPad使用技巧 Shell Shortcuts(和Tab键一样实用) vim--自动添加jekyll post信息头 vim 自动给文件添加头部信息 GitHub Tips (很实用,值得收藏) Linux路由、防火墙、NAT命令

linux shell 学习摘记(5)

2016年09月27日

《linux shell 脚本编程攻略 (第2版)》 第五章 ”一团乱麻?没有这回事“ 笔记

主要命令:wget, lynx, curl, 图片抓取脚本, 网页相册生成脚本

  • wget
    1. wget -t 5 www.codeshold.me, wget -t 0 www.codeshold.me 无限次尝试, -O outfile.html, -o out.log
    2. 可限速 --limit-rate 20k, 可限制配额 --quota 100m-Q 100m
    3. 断点续传 wget -c www.codeshold.me
    4. 镜像整个网站 wget --mirror --convert-links www.codeshold.me 或者 wget -r -N -k -l DEPTH URL,其中-k--convert-links指示wget将页面的链接地址转换为本地地址,-N使用文件的文件戳
    5. wget --user USERNAME --password PADDWD URL
    6. wget http://10.108.255.249/cgi-bin/do_login --post-data "username=$name&password={TEXT}$pass&drop=0&type=1&n=100"i -q
  • lynx

  • curl
    1. curl www.codeshold.me -o swf.html --progress, --silent 不显示进度信息
    2. 断点续传 curl URL/file -C offset, curl -C -URL(程序自己推断出续传的位置)
    3. 参照页(refer)可标志用户从哪个页面到达当前页面的,呈现的页面可能会不一样 curl --referer www.google.com www.codeshold.me
    4. curl www.codeshold.me --cookie "user=wuzhimang;pass=mydream", 将cookie另存为一个文件 curl www.baidu.com --cookie-jar cookie.file
    5. 使用用户代理(user agent),某些网站需特定的浏览器支持支持(如IE)curl www.codeshold.me --user-agent "Mozilla/5.0" 用户代理字符串
    6. 添加头部信息curl -H "Host: www.codeshold.me" -H "Accept-language: en" www.codeshold.me
    7. 限定 --limit-rate 20k, --max-filesize bytes
    8. 认证 curl -u user:pass http://codeshold.me, curl -u user http://10.108.255.249/
    9. 添加头部 -I--head
    10. 命令行访问Gmail (不能用的)
$ cat gmail_bash.sh
#!/bin/bash

username='wuzhimang@gmail.com'
password='XXXX'

SHOW_COUNT=5

echo
curl -u $username:$password "https://mail.google.com/mail/feed/atom" | \
tr -d '\n' | sed 's:</entry>:\n:g' | \
sed -n 's/.*<title>\(.*\)<\/title.*<author><name>\([^<]*\)<\/name><email>\([^<]*\).*/From: \2 [\3] \nSubject: \1\n/p' | \
head -n $(( $SHOW_COUNT * 3))

知识共享许可协议
SWF's Hacking Dreamonephone 创作,采用 知识共享 署名-非商业性使用 4.0 国际 许可协议进行许可。
© 2011-2017. All rights reserved by onephone. Powerd by Jekyll.