以下文章來源于新建文件夾X ，作者ZackSock

前言

在之前也寫過生成字符視頻的文章，但是使用的是命令行窗口輸出，效果不是很好，而且存在卡頓的情況。于是我打算直接生成一個(gè)mp4的字符視頻。大致思路和之前一樣：Python20行代碼實(shí)現(xiàn)視頻字符化。

下面來看一個(gè)效果圖：

卡卡西vs帶土效果截取

OpenCV的操作圖像

我們先來看一些基本操作。首先我們需要安裝OpenCV，執(zhí)行下面語句：

pip install opencv-python

之后就可以使用了。

1.1、讀取和顯示

我們直接看代碼：

import cv2
# 讀取圖片
img = cv2.imread("1.jpg")
# 顯示圖片
cv2.imshow("img", img)
cv2.waitKey()
cv2.destroyAllWindows()

其中waitKey是等待輸入的函數(shù)，因?yàn)閕mshow之后顯示一瞬間，所以我們需要調(diào)用它。而destroyAllWindows是釋放窗口。

1.2、灰度轉(zhuǎn)換

灰度轉(zhuǎn)換就是將圖片轉(zhuǎn)換成黑白圖片（灰色），這樣可以方便我們處理像素。代碼如下：

import cv2
img = cv2.imread("1.jpg")
# 灰度轉(zhuǎn)換
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

我們還可以直接以灰度形式讀入：

import cv2
# 以灰度形式讀入
img = cv2.imread("1.jpg", 0)

1.3、獲取圖片尺寸并修改尺寸

我們直接看代碼：

import cv2
img = cv2.imread("1.jpg", 0)
# 獲取圖片的高寬
h, w = img.shape
# 縮放圖片
res = cv2.resize(img, (w//2, h//2))

因?yàn)閕mg的shape屬性是一個(gè)元組，所以我們可以直接自動拆包。

然后調(diào)用cv2.resize函數(shù)，第一個(gè)參數(shù)傳入圖片，第二個(gè)參數(shù)傳入修改后的尺寸。

1.4、繪制文字

繪制文字我們需要調(diào)用cv2.putText函數(shù)，代碼如下：

import cv2
img = cv2.imread('1.jpg')
# 繪制文字
cv2.putText(
    # 被繪制的圖片
    img, 
    # 要繪制的文字
    'Hello',
    # 文字左下角的坐標(biāo)
    (100, 500),
    # 字體
    cv2.FONT_HERSHEY_SIMPLEX,
    # 字體大小縮放
    20, 
    # 文字顏色
    (0, 0, 0),
    # 文字粗細(xì)
    10
)

我們只需要注意這些參數(shù)就好了。

1.5、讀取視頻

讀取視頻的操作一般是通用的，代碼如下：

import cv2
# 讀取視頻
cap = cv2.VideoCapture('1.mp4')
# 獲取視頻的幀率
fps = cap.get(cv2.CAP_PROP_FPS)
# 循環(huán)讀取圖片的每一幀
while True:
    # 讀取下一幀
    ret, frame = cap.read()
    if not ret:
        break
    else:
        pass
cap.release()

上面我們獲取的視頻的幀，在寫入視頻的時(shí)候我們需要用到。

1.6、寫入視頻

寫入視頻的操作也是常規(guī)代碼：

import cv2
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
writer = cv2.VideoWriter('11.mp4', fourcc, fps, (w, h))
# 寫入視頻
writer.write(frame)
***
write.release()

有了這些知識，我們就可以開始下一步工作了。

像素映射成字符

對于只有一個(gè)通道的圖片，我們可以把它當(dāng)成一個(gè)矩形，這個(gè)矩形最小單位就是一個(gè)像素。而字符化的過程就是用字符替代像素點(diǎn)的過程。所以我們要遍歷圖像的每個(gè)像素點(diǎn)，但是我們應(yīng)該用什么字符取代呢？

我們顏色有一個(gè)參照表，而opencv將這個(gè)參數(shù)表切割成256份，代表不同的程度，我們也可以做一個(gè)參照表，不過表中的內(nèi)容不是顏色，而是字符。

顏色表

上圖為顏色表，我們可以使顏色表和字符表建立映射關(guān)系。假如字符表如下：

mqpka89045321@#$%^&*()_=||||}

我們可以得到下列公式：

字符和顏色之間等式

經(jīng)過變換可以求得相應(yīng)顏色對應(yīng)字符表中的字符：

計(jì)算字符下標(biāo)的公式

這個(gè)公式不理解也沒關(guān)系，只需要會用即可。下面就是我們像素轉(zhuǎn)字符的代碼：

def pixel2char(pixel):
    char_list = "@#$%&erytuioplkszxcv=+---.     "
    index = int(pixel / 256 * len(char_list))
    return char_list[index]

這個(gè)字符表是可以自己定義的。

生成字符圖片

現(xiàn)在我們只需要將像素逐個(gè)轉(zhuǎn)換成字符就好了，代碼如下：

def get_char_img(img, scale=4, font_size=5):
    # 調(diào)整圖片大小
    h, w = img.shape
    re_im = cv2.resize(img, (w//scale, h//scale))
    # 創(chuàng)建一張圖片用來填充字符
    char_img = np.ones((h//scale*font_size, w//scale*font_size), dtype=np.uint8)*255
    font = cv2.FONT_HERSHEY_SIMPLEX
    # 遍歷圖片像素
    for y in range(0, re_im.shape[0]):
        for x in range(0, re_im.shape[1]):
            char_pixel = pixel2char(re_im[y][x])
            cv2.putText(char_img, char_pixel, (x*font_size, y*font_size), font, 0.5, (0, 0, 0))
    return char_img

這里我們使用了一個(gè)np.ones函數(shù)，它的作用我們理解為生成一個(gè)黑色圖片。

生成的尺寸我們先除了scale，然后再乘font_size。scale是原圖的縮小程度，因?yàn)橄袼赜泻芏?，所以我們需要先把圖片縮小。而為了讓我們的字體顯示更清楚，我們需要把生成的字符圖片放大。

因此需要注意，雖然我們生成的圖片看起來單調(diào)，但是當(dāng)font_size設(shè)置為5時(shí)，得到的圖片已經(jīng)比較大了。因此當(dāng)你生成長時(shí)間的視頻時(shí)，會花費(fèi)比較多的時(shí)間，生成的視頻也比較大。

我們來測試一下上面的函數(shù)：

import cv2
import numpy as np
def pixel2char(pixel):
    char_list = "@#$%&erytuioplkszxcv=+---.     "
    index = int(pixel / 256 * len(char_list))
    return char_list[index]
def get_char_img(img, scale=4, font_size=5):
    # 調(diào)整圖片大小
    h, w = img.shape
    re_im = cv2.resize(img, (w//scale, h//scale))
    # 創(chuàng)建一張圖片用來填充字符
    char_img = np.ones((h//scale*font_size, w//scale*font_size), dtype=np.uint8)*255
    font = cv2.FONT_HERSHEY_SIMPLEX
    # 遍歷圖片像素
    for y in range(0, re_im.shape[0]):
        for x in range(0, re_im.shape[1]):
            char_pixel = pixel2char(re_im[y][x])
            cv2.putText(char_img, char_pixel, (x*font_size, y*font_size), font, 0.5, (0, 0, 0))
    return char_img
if __name__ == '__main__':
    img = cv2.imread('dl.jpg', 0)
    res = get_char_img(img)
    cv2.imwrite('d.jpg', res)

效果如下：

生成的字符畫

可以看到效果還是很不錯(cuò)的。

生成字符視頻

有了上面的代碼，我們就可以對整個(gè)視頻進(jìn)行轉(zhuǎn)換了。將視頻轉(zhuǎn)換成字符視頻的代碼如下：

def generate(input_video, output_video):
    # 1、讀取視頻
    cap = cv2.VideoCapture(input_video)
    # 2、獲取視頻幀率
    fps = cap.get(cv2.CAP_PROP_FPS)
    # 讀取第一幀，獲取轉(zhuǎn)換成字符后的圖片的尺寸
    ret, frame = cap.read()
    char_img = get_char_img(cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY), 4)
    # 創(chuàng)建一個(gè)VideoWriter，用于保存視頻
    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    writer = cv2.VideoWriter(output_video, fourcc, fps, (char_img.shape[1], char_img.shape[0]))
    while ret:
        # 讀取視頻的當(dāng)前幀，如果沒有則跳出循環(huán)
        ret, frame = cap.read()
        if not ret:
            break
        # 將當(dāng)前幀轉(zhuǎn)換成字符圖
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        char_img = get_char_img(gray, 4)
        # 轉(zhuǎn)換成BGR模式，便于寫入視頻
        char_img = cv2.cvtColor(char_img, cv2.COLOR_GRAY2BGR)
        writer.write(char_img)
    writer.release()

下面是卡卡西經(jīng)典戰(zhàn)役的字符視頻片段：

卡卡西vs帶土效果

完整代碼如下：

import cv2
import numpy as np
def pixel2char(pixel):
    char_list = "@#$%&erytuioplkszxcv=+---.     "
    index = int(pixel / 256 * len(char_list))
    return char_list[index]
def get_char_img(img, scale=4, font_size=5):
    # 調(diào)整圖片大小
    h, w = img.shape
    re_im = cv2.resize(img, (w//scale, h//scale))
    # 創(chuàng)建一張圖片用來填充字符
    char_img = np.ones((h//scale*font_size, w//scale*font_size), dtype=np.uint8)*255
    font = cv2.FONT_HERSHEY_SIMPLEX
    # 遍歷圖片像素
    for y in range(0, re_im.shape[0]):
        for x in range(0, re_im.shape[1]):
            char_pixel = pixel2char(re_im[y][x])
            cv2.putText(char_img, char_pixel, (x*font_size, y*font_size), font, 0.5, (0, 0, 0))
    return char_img
def generate(input_video, output_video):
    # 1、讀取視頻
    cap = cv2.VideoCapture(input_video)
    # 2、獲取視頻幀率
    fps = cap.get(cv2.CAP_PROP_FPS)
    # 讀取第一幀，獲取轉(zhuǎn)換成字符后的圖片的尺寸
    ret, frame = cap.read()
    char_img = get_char_img(cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY), 4)
    # 創(chuàng)建一個(gè)VideoWriter，用于保存視頻
    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    writer = cv2.VideoWriter(output_video, fourcc, fps, (char_img.shape[1], char_img.shape[0]))
    while ret:
        # 讀取視頻的當(dāng)前幀，如果沒有則跳出循環(huán)
        ret, frame = cap.read()
        if not ret:
            break
        # 將當(dāng)前幀轉(zhuǎn)換成字符圖
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        char_img = get_char_img(gray, 4)
        # 轉(zhuǎn)換成BGR模式，便于寫入視頻
        char_img = cv2.cvtColor(char_img, cv2.COLOR_GRAY2BGR)
        writer.write(char_img)
    writer.release()
if __name__ == '__main__':
    generate('in.mp4', 'out.mp4')

我們只需要修改generate的參數(shù)就好了。