位置: 编程技术 - 正文

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

编辑:rootadmin

推荐整理分享pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pycharm安装完后怎么打开,pycharm怎么打开文件夹,pycharm运行窗口调出,pycharmrun运行窗口怎么打开,pycharm安装完后怎么打开,pycharm打开没反应,pycharm打开没反应,pycharm 打开,内容如对您有帮助,希望把文章链接给更多的朋友!

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1

目录结构如下:

打开Pycharm,选择open

选择项目,ok

打开如下界面之后,按alt + 1, 打开project 面板

在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz"。这个名字后面会用到。

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

在test1目录和scrapy.cfg同级目录下面,新建一个begin.py文件(便于理解可以写成main.py),注意箭头2所指的名字和第5步中的name='dmoz'名字是一样的。

7. 上面把文件搞定了,下面要配置一下pycharm了。点击Run->Edit Configurations

8. 新建一个运行的python模块

9. Name:改成spider; script:选择刚才新建的那个begin.py文件;Working Direciton:改成自己的工作目录

. 至此,大功告成了,点击下图,右上角的按钮就能运行了。

调试

可以在其他代码中设置断点,就可以debug运行

遇到问题

1. Unknown command: crawl

调试运行,断点并未命中,控制台输出信息如下:

工作目录设置有误,造成无法识别 scrapy 命令,按照上文所说,将工作目录设置为包含 scrapy.cfg,重新运行,问题解决。

标签: pycharm打开文件怎么运行

本文链接地址:https://www.jiuchutong.com/biancheng/375468.html 转载请保留说明!

上一篇:Python快速排序算法实例分析(python快速排序算法代码)

下一篇:Scrapy框架CrawlSpiders的介绍以及使用详解(Scrapy框架可以用于数据挖掘、监测和自动化测试)

  • 企业自建房屋
  • 应税销售收入是指什么
  • 代扣代缴个人所得税账务处理
  • 如何查询个人所有贷款记录
  • 小规模纳税人零申报逾期未申报
  • 代扣代缴附加税减免
  • 捐赠支出增值税
  • 计提工资和实际发放工资必须一致吗
  • 产品税率下调企业是否要到税务部门备案
  • 企业所得税大白话解释
  • 委托邮政企业投诉电话
  • 房地产企业销售现房是否预缴增值税
  • 以前年度漏记一笔短期借款但本金利息支出记账了
  • 所得税逾期未申报怎么处理
  • 打井行业
  • 股东分红如何缴税
  • 税务会计核算范围
  • 电商销售进对公账户怎样做账
  • 定额发票存根联丢失如何处罚
  • 增值税简易征收范围
  • 没有税率的发票怎么开
  • 个人使用过的设备有哪些
  • 苹果笔记本如何切换输入法
  • windows7iis安装
  • macos mojace
  • 在建工程工程款优先受偿权
  • 发票开出后对方不付款
  • php数组函数大全
  • 长期挂账的其他应付账款怎么处理
  • uniapp vuecli
  • 老板垫付的员工怎么入账
  • 增值税结算方式的筹划
  • 慕尼黑基姆湖
  • 保险公司赔付进项税
  • 大数据项目之数据采集
  • Yii2——使用数据库操作汇总(增删查改、事务)
  • 编写jsp程序,实现简易计算机
  • 请求转发与重定义的区别
  • 融资租赁后续会计处理
  • 飞机票抵扣进项税含民航发展基金吗
  • 物流公司的会计好做吗
  • 计算分配本月职工工资会计分录
  • 小规模纳税人免增值税的账务处理
  • 返聘人员的工资需要交税吗?
  • 继续教育报名方式
  • 以货换货合同
  • 限制性股票应纳税额的确定
  • 土地使用税如何计算缴纳
  • 购进商品发生溢余
  • 其他权益工具投资公允价值变动计入什么科目
  • 营业外支出罚没支出包括
  • 收到投资款现金流量
  • 电脑折旧多少钱
  • 销售免税货物的会计分录
  • 年初建账考虑要点有哪些
  • sqlserver2000数据库迁移到2008r2
  • 在幻灯片母版中
  • centos如何删除用户组里面的用户
  • 无线网卡搜索不到无线网
  • xp系统盘空间不足怎么办
  • win7鼠标右键一闪就没了
  • windows u盘不识别
  • ubuntu20.04设置共享文件夹
  • dae是什么文件
  • windows 8.1更新
  • linux检查是否存在vxlan模块
  • win7安装kb3170455失败
  • 如何使用shell脚本将文件中的人分组,并输出
  • linux用c语言实现命令功能
  • cmd怎么复制上一条命令快捷键
  • unity资源文件
  • python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
  • python脚本代码大全
  • shell 读取文件中的每一行并存储到数组
  • python文本文件操作步骤
  • 企业所得税季报资产总额怎么填
  • 山东2022新生儿数量统计表
  • 高端护肤品品牌排行榜
  • 扬州 税务
  • 如何计算土地增值税税率
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设