更新博客

0%

Posted on Edited on In

爬取方法借鉴了https://blog.csdn.net/johnchang0201/article/details/103004229
爬取完数据之后将数据保存到了excel中

以下为代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
import requests
from bs4 import BeautifulSoup
import xlwt


###获得某个bilibili视频的弹幕

#输入url，获得其页面的内容
def get_text(url):
    try:
        kv = {
            "user-agent": "Mozilla/5.0"
        }
        r = requests.get(url, headers=kv)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        # print(r.encoding)
        return r.text
    except:
        print("爬取失败")
        return 0


# #输入视频对应的url（从浏览器网址部分直接复制即可），输出对应的记录弹幕的xml页面
# def get_bullet_comments(BV_url):
#     heart_beat_url =

def process_text(text_in):
    soup = BeautifulSoup(text_in, 'lxml')
    results = soup.find_all('d')  # 找出所有'd'
    comments = [comment.text for comment in results]  # 因为出来的时候是bs4格式的，我们需要把他转化成list
    # print(type(comments))
    return comments

#将弹幕输出到excel中
def export_excel(comments):
    workbook = xlwt.Workbook(encoding="utf-8")
    worksheet = workbook.add_sheet('My Worksheet')
    RowNum = len(comments)
    for i in range(0,RowNum):
        worksheet.write(i, 0, comments[i])
    workbook.save("Comments.xls")



def main():
    url = "https://api.bilibili.com/x/v1/dm/list.so?oid=136276727"
    text = get_text(url)
    comments = process_text(text)
    export_excel(comments)

    # for comment_single in comments:
    #     print(comment_single)



if __name__ == '__main__':
    main()

Posted on Edited on In

最近回顾了python爬虫,学习了如何抓包（Firefox、Fiddler）。同时也把python中用requests库爬取网页的脚本模板记录在此，代码源自mooc中北理的相关网课：

requests库

1
2
3
4
5
6
7
8
9
10
11
import requests
url = "...."

try:
    kv = {"user-agent":"Mozilla/5.0"}
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")

Posted on Edited on In

长期更新，把hexo和常用命令都放在这里。

常用命令

1.测试排版和内容：hexo s
2.发布：hexo clean&&hexo g&&hexo d
3.新建（简易）：hexo new new_title
建立一个名为new_title的新博文
4.建立分类的方法，参照下面两篇博文：
https://linlif.github.io/2017/05/27/Hexo%E4%BD%BF%E7%94%A8%E6%94%BB%E7%95%A5-%E6%B7%BB%E5%8A%A0%E5%88%86%E7%B1%BB%E5%8F%8A%E6%A0%87%E7%AD%BE/
https://blog.csdn.net/winter_chen001/article/details/79719154
5.图床：
参考视频：https://www.bilibili.com/video/BV1w741167qZ/?spm_id_from=333.788.videocard.5

md写作方法积累

1.代码：```
不同语言种类详见：
https://www.jianshu.com/p/1f223eb78ad8
2.正文的大标题：##；小标题：###等

容易掉的坑

1.顶头的tags的冒号后打空格！（vscode中看到蓝色字和肉色字共存）
2.remote: Support for password authentication was removed on August 13, 2021.
上传时如果遇到此bug，解决方法：https://blog.csdn.net/weixin_41010198/article/details/119698015

Posted on

今天用matlab写了DIP中的大津算法和霍夫算法（直线），写后者时产生了这个衍生品，后来发现不用这个衍生品也可以写完Hough算法，但是个人认为这个函数还比较实用，所以记录在这里备忘。

源代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
function [MaxValueVector,MaxIndexVector] = SortNValues(Matrix,n)
%SortNValues 给定一个矩阵或者向量，排出前五个最大的数，返回这五个数的数量（从大到小，vector）以及位置



MaxValueVector = zeros(1,n);
MaxIndexVector = zeros(2,n);

if(size(Matrix,1)==0||size(Matrix,2)==0)
    return;
end


for i = 1:n
    MaxValueVector(1,i) = max(Matrix,[],'all');
    
    [MaxIndexRow,MaxIndexCol] = find(Matrix==max(Matrix,[],'all'));
    
    MaxIndexRow1 = 0;
    MaxIndexCol1 = 0;
    
    if(size(MaxIndexRow,1)~=1||size(MaxIndexCol,2)~=1)
        MaxIndexRow1 = MaxIndexRow(1);
        MaxIndexCol1 = MaxIndexCol(1);
    else
        MaxIndexRow1 = MaxIndexRow;
        MaxIndexCol1 = MaxIndexCol;
    end
    

    
    MaxIndexVector(:,i) = [MaxIndexRow1;MaxIndexCol1];
    Matrix(MaxIndexRow1,MaxIndexCol1) = -Matrix(MaxIndexRow1,MaxIndexCol1);
    
    
    
end
    
end

简单的使用例

输入的是矩阵

1
2
3
4
5
6
7
8
a = 1:10;
b = 2:11;
c = [a;b];
[m,n] = SortNValues(c,5);
%m = [11,10,10,9,9]
%n = [
%    2,2,1,2,1;
%    10,9,10,8,9]

输入的是向量

1
2
3
4
5
6
a = 1:10;
[m,n] = SortNValues(a,5);
%m = [10,9,8,7,6]
%n = [
%    1,1,1,1,1;
%    10,9,8,7,6]

Posted on

以下内容来源于：《JAVA核心技术卷1：基础知识》。

第三章 Java基本结构

1.Java中表示常量使用final，而不是const
2.Java中表示字符串与其它的变量的拼接时，不需要类似c#中那样将其它变量转化为字符串(.ToString())，而是直接相加就行，自动转化。
3.Java中字符串是不可变的，这点和C语言形成对比。
4.Java中字符串的比较使用equals函数。不使用==。
5.Java中字符串尽量使用CodePoint相关的方法，char相关的除非要探究低级，否则不用。根本原因在于一个代码点可能由多个代码单元表示。
6.构建字符串：StringBuilder类
7.Java不能在嵌套的两个块中声明同名变量，这点和cpp不同。
8.Java大数运算：BigInteger和BigDecimal，运算不能使用运算符，因为运算符没有重载。
9.如果希望将一个数组的量拷贝到新的数组中去，要使用Arrays类的copyOf方法。

第四章 Java的类

1.Java中一个对象变量仅仅是引用了一个对象，类似于cpp中的指针：

1
Date birthday;//java

等同于：

1
Date* birthday;//cpp

2.每一个类中可以定义一个main方法，用于单元测试。
3.Java中不能传递引用&，只能值调用(p115)，一个类中的方法可以改变对象中的属性，但对于对象使用的不是引用调用。
4.Java中存在初始化块，在构造一个对象时就会自动执行，在构造器之前执行：

1
2
3
{
    //code
}

对类中静态域的初始化：可以用静态初始化块，在类第一次加载时就被运行：

1
2
3
4
static
{
    //code
}

例如，一个没有main函数的HelloWorld：

1
2
3
4
5
6
7
8
public class Hello
{
    static
    {
        System.out.println("Hello World!");
        System.exit(0);
    }
}

5.Java导入包,例如导入java.util,从而使用其中的类：

1
import java.util.*;

只能用import导入一个包。对应的类需要放在基目录下的java\util中。
将类放入包中，需要在类的开头写：package “包的名字”，如：

1
package com.horstmann.corejava;

对应地，该类的.java和.class需要放在基目录下的com\horstmann\corejava中。

Posted on Edited on

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.

Quick Start

Create a new post

1
$ hexo new "My New Post"

More info: Writing

Run server

1
$ hexo server

More info: Server

Generate static files

1
$ hexo generate

More info: Generating

Deploy to remote sites

1
$ hexo deploy

More info: Deployment

每次发布时，使用 hexo clean && hexo g && hexo d