位置: 编程技术 - 正文

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

编辑:rootadmin

推荐整理分享pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pycharm安装完后怎么打开,pycharm怎么打开文件夹,pycharm运行窗口调出,pycharmrun运行窗口怎么打开,pycharm安装完后怎么打开,pycharm打开没反应,pycharm打开没反应,pycharm 打开,内容如对您有帮助,希望把文章链接给更多的朋友!

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1

目录结构如下:

打开Pycharm,选择open

选择项目,ok

打开如下界面之后,按alt + 1, 打开project 面板

在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz"。这个名字后面会用到。

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

在test1目录和scrapy.cfg同级目录下面,新建一个begin.py文件(便于理解可以写成main.py),注意箭头2所指的名字和第5步中的name='dmoz'名字是一样的。

7. 上面把文件搞定了,下面要配置一下pycharm了。点击Run->Edit Configurations

8. 新建一个运行的python模块

9. Name:改成spider; script:选择刚才新建的那个begin.py文件;Working Direciton:改成自己的工作目录

. 至此,大功告成了,点击下图,右上角的按钮就能运行了。

调试

可以在其他代码中设置断点,就可以debug运行

遇到问题

1. Unknown command: crawl

调试运行,断点并未命中,控制台输出信息如下:

工作目录设置有误,造成无法识别 scrapy 命令,按照上文所说,将工作目录设置为包含 scrapy.cfg,重新运行,问题解决。

标签: pycharm打开文件怎么运行

本文链接地址:https://www.jiuchutong.com/biancheng/375468.html 转载请保留说明!

上一篇:Python快速排序算法实例分析(python快速排序算法代码)

下一篇:Scrapy框架CrawlSpiders的介绍以及使用详解(Scrapy框架可以用于数据挖掘、监测和自动化测试)

  • 税务局退回个税会计分录
  • 怎么计提坏账准备到本年利润
  • 生产税净额计算实例
  • 金税四期查到了怎么办
  • 会计核算是否健全 填错了有影响吗
  • 什么叫发票分割单
  • 捐赠的固定资产账务处理
  • 软件出口税收政策
  • 查增应纳税所得额怎么算
  • 其他应付款款
  • 本月预缴税额怎么计算
  • 长期待摊费用摊销表
  • 还在讨论“税务金四”上线?税务和银行要联手清查单位和个人账户了!
  • 污水处理费怎么收取的
  • 两个立项可以并在一起招标吗
  • 银行利息收入的账务处理
  • 医疗卫生机构可以向其他单位或者个人分发第一类疫苗
  • 原材料计入资产成本吗
  • 企业出租商铺交什么税费呢
  • 企业之间承兑汇票贴现违法吗知乎
  • 参加失业保险本期实际缴费金额包括员工承担部分吗?
  • deepin解锁文件
  • 投资收益或亏损影响营业利润吗
  • 经销商计提折扣怎么算
  • 驾校收入与成本的关系
  • 发放应付职工薪酬的账务处理
  • 借条和欠条的区别 法律效力
  • islp2sta.exe - islp2sta是什么进程 有什么作用
  • 产生转让损失
  • linux系统设置屏幕常亮
  • 个体户何去何从
  • 股票印花税和佣金的关系
  • php curl_exec
  • php数组排列组合
  • 讯飞智能x2
  • 数字图像处理期末试卷及答案
  • 无人驾驶基础知识
  • vue3.0中的ref
  • discuz去除底部
  • 研发费用税前加计扣除金额怎么算
  • 小规模纳税人出租不动产税率是5%还是3%
  • 购买公司支付的钱怎么做账
  • 零申报有哪些
  • 建筑工程企业所得税预缴
  • 城建税退回怎么做分录
  • mysql 5.6安装教程
  • mongodb用法
  • Apache RocketMQ 5.0 笔记
  • 经营性现金流量为什么要加上折旧
  • 物业增值服务主要有哪些
  • 出口货物离岸价差异原因说明表在电子税务局的位置
  • MySQL导入导出命令
  • 股权转让怎么做账
  • 计提城建税的会计分录怎么写
  • 小规模纳税人出售使用过固定资产
  • 预算外的收入
  • 本年利润要结转吗为什么
  • 免征的增值税账务处理
  • 自创商誉是否需要纳税
  • 暂估的费用次年调增怎么做会计分录
  • 错误的原始凭证是什么
  • linux中使用fdisk命令进行硬盘分区
  • centos6.10安装教程详解
  • vi编辑器使用教程
  • mac itunes在哪儿
  • window8.1下载
  • 在Linux系统中安装MySQL
  • freebsd连接wifi
  • android 音频焦点丢失 媒体按键
  • python语言怎么用
  • jquery表单事件验证表单
  • jquery怎么给div赋值
  • js 数组处理
  • 苏州昆山税务局电话号码
  • 江苏国家电子税务局新版本怎么申领发票
  • 不交社保申报个税有风险吗
  • 网上申报成功后才能去体检吗
  • 附加税申报表怎么做
  • 汽车购置税与消费税
  • 大连开发区哪家自助餐好吃还便宜
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设