1.3. 査找重複的行

對文件做拷貝、打印、蒐索、排序、統計或類似事情的程序都有一個差不多的程序結構:一個處理輸入的循環,在每個元素上執行計算處理,在處理的同時或最後産生輸出。我們會展示一個名爲dup的程序的三個版本;靈感來自於Unix的uniq命令,其尋找相鄰的重複行。該程序使用的結構和包是個參考范例,可以方便地脩改。

dup的第一個版本打印標準輸入中多次出現的行,以重複次數開頭。該程序將引入if語句,map數據類型以及bufio包。

gopl.io/ch1/dup1 ```go // Dup1 prints the text of each line that appears more than // once in the standard input, preceded by its count. package main

import ( “bufio” “fmt” “os” )

func main() { counts := make(map[string]int) input := bufio.NewScanner(os.Stdin) for input.Scan() { counts[input.Text()]++ } // NOTE: ignoring potential errors from input.Err() for line, n := range counts { if n > 1 { fmt.Printf(“%d\t%s\n”, n, line) } } } ```

正如for循環一樣,if語句條件兩邊也不加括號,但是主體部分需要加。if語句的else部分是可選的,在if的條件爲false時執行。

map存儲了鍵/值(key/value)的集合,對集合元素,提供常數時間的存、取或測試操作。鍵可以是任意類型,隻要其值能用==運算符比較,最常見的例子是字符串;值則可以是任意類型。這個例子中的鍵是字符串,值是整數。內置函數make創建空map,此外,它還有别的作用。4.3節討論map

(譯註:從功能和實現上説,Gomap類似於Java語言中的HashMap,Python語言中的dictLua語言中的table,通常使用hash實現。遺憾的是,對於該詞的翻譯併不統一,數學界術語爲映射,而計算機界衆説紛紜莫衷一是。爲了防止對讀者造成誤解,保留不譯。)

每次dup讀取一行輸入,該行被當做map,其對應的值遞增。counts[input.Text()]++語句等價下面兩句:

line := input.Text()
counts[line] = counts[line] + 1

map中不含某個鍵時不用擔心,首次讀到新行時,等號右邊的表達式counts[line]的值將被計算爲其類型的零值,對於int`卽0。

爲了打印結果,我們使用了基於range的循環,併在counts這個map上迭代。跟之前類似,每次迭代得到兩個結果,鍵和其在map中對應的值。map的迭代順序併不確定,從實踐來看,該順序隨機,每次運行都會變化。這種設計是有意爲之的,因爲能防止程序依賴特定遍歷順序,而這是無法保證的。

繼續來看bufio包,它使處理輸入和輸出方便又高效。Scanner類型是該包最有用的特性之一,它讀取輸入併將其拆成行或單詞;通常是處理行形式的輸入最簡單的方法。

程序使用短變量聲明創建bufio.Scanner類型的變量input

input := bufio.NewScanner(os.Stdin)

該變量從程序的標準輸入中讀取內容。每次調用input.Scanner,卽讀入下一行,併移除行末的換行符;讀取的內容可以調用input.Text()得到。Scan函數在讀到一行時返迴true,在無輸入時返迴false

類似於C或其它語言里的printf函數,fmt.Printf函數對一些表達式産生格式化輸出。該函數的首個參數是個格式字符串,指定後續參數被如何格式化。各個參數的格式取決於“轉換字符”(conversion character),形式爲百分號後跟一個字母。舉個例子,%d表示以十進製形式打印一個整型操作數,而%s則表示把字符串型操作數的值展開。

Printf有一大堆這種轉換,Go程序員稱之爲*動詞(verb)*。下面的表格雖然遠不是完整的規范,但展示了可用的很多特性:

%d          十進製整數
%x, %o, %b  十六進製,八進製,二進製整數。
%f, %g, %e  浮點數: 3.141593 3.141592653589793 3.141593e+00
%t          布爾:true或false
%c          字符(rune) (Unicode碼點)
%s          字符串
%q          帶雙引號的字符串"abc"或帶單引號的字符'c'
%v          變量的自然形式(natural format)
%T          變量的類型
%%          字面上的百分號標誌(無操作數)

dup1的格式字符串中還含有製表符\t和換行符\n。字符串字面上可能含有這些代表不可見字符的轉義字符(escap sequences)。默認情況下,Printf不會換行。按照慣例,以字母f結尾的格式化函數,如log.Printffmt.Errorf,都采用fmt.Printf的格式化準則。而以ln結尾的格式化函數,則遵循Println的方式,以跟%v差不多的方式格式化參數,併在最後添加一個換行符。(譯註:後綴ffomartlnline。)

很多程序要麽從標準輸入中讀取數據,如上面的例子所示,要麽從一繫列具名文件中讀取數據。dup程序的下個版本讀取標準輸入或是使用os.Open打開各個具名文件,併操作它們。

gopl.io/ch1/dup2 ```go // Dup2 prints the count and text of lines that appear more than once // in the input. It reads from stdin or from a list of named files. package main

import ( “bufio” “fmt” “os” )

func main() { counts := make(map[string]int) files := os.Args[1:] if len(files) == 0 { countLines(os.Stdin, counts) } else { for _, arg := range files { f, err := os.Open(arg) if err != nil { fmt.Fprintf(os.Stderr, “dup2: %v\n”, err) continue } countLines(f, counts) f.Close() } } for line, n := range counts { if n > 1 { fmt.Printf(“%d\t%s\n”, n, line) } } }

func countLines(f *os.File, counts map[string]int) { input := bufio.NewScanner(f) for input.Scan() { counts[input.Text()]++ } // NOTE: ignoring potential errors from input.Err() } ```

os.Open函數返迴兩個值。第一個值是被打開的文件(*os.File),其後被Scanner讀取。

os.Open返迴的第二個值是內置error類型的值。如果err等於內置值nil(譯註:相當於其它語言里的NULL),那麽文件被成功打開。讀取文件,直到文件結束,然後調用Close關閉該文件,併釋放占用的所有資源。相反的話,如果err的值不是nil,説明打開文件時出錯了。這種情況下,錯誤值描述了所遇到的問題。我們的錯誤處理非常簡單,隻是使用Fprintf與表示任意類型默認格式值的動詞%v,向標準錯誤流打印一條信息,然後dup繼續處理下一個文件;continue語句直接跳到for循環的下個迭代開始執行。

爲了使示例代碼保持合理的大小,本書開始的一些示例有意簡化了錯誤處理,顯而易見的是,應該檢査os.Open返迴的錯誤值,然而,使用input.Scan讀取文件過程中,不大可能出現錯誤,因此我們忽略了錯誤處理。我們會在跳過錯誤檢査的地方做説明。5.4節中深入介紹錯誤處理。

註意countLines函數在其聲明前被調用。函數和包級别的變量(package-level entities)可以任意順序聲明,併不影響其被調用。(譯註:最好還是遵循一定的規范)

map是一個由make函數創建的數據結構的引用。map作爲爲參數傳遞給某函數時,該函數接收這個引用的一份拷貝(copy,或譯爲副本),被調用函數對map底層數據結構的任何脩改,調用者函數都可以通過持有的map引用看到。在我們的例子中,countLines函數向counts插入的值,也會被main函數看到。(譯註:類似於C++里的引用傳遞,實際上指針是另一個指針了,但內部存的值指向同一塊內存)

dup的前兩個版本以”流”模式讀取輸入,併根據需要拆分成多個行。理論上,這些程序可以處理任意數量的輸入數據。還有另一個方法,就是一口氣把全部輸入數據讀到內存中,一次分割爲多行,然後處理它們。下面這個版本,dup3,就是這麽操作的。這個例子引入了ReadFile函數(來自於io/ioutil包),其讀取指定文件的全部內容,strings.Split函數把字符串分割成子串的切片。(Split的作用與前文提到的strings.Join相反。)

我們略微簡化了dup3。首先,由於ReadFile函數需要文件名作爲參數,因此隻讀指定文件,不讀標準輸入。其次,由於行計數代碼隻在一處用到,故將其移迴main函數。

gopl.io/ch1/dup3 ```go package main

import ( “fmt” “io/ioutil” “os” “strings” )

func main() { counts := make(map[string]int) for _, filename := range os.Args[1:] { data, err := ioutil.ReadFile(filename) if err != nil { fmt.Fprintf(os.Stderr, “dup3: %v\n”, err) continue } for _, line := range strings.Split(string(data), “\n”) { counts[line]++ } } for line, n := range counts { if n > 1 { fmt.Printf(“%d\t%s\n”, n, line) } } } ```

ReadFile函數返迴一個字節切片(byte slice),必須把它轉換爲string,才能用strings.Split分割。我們會在3.5.4節詳細講解字符串和字節切片。

實現上,bufio.Scanneroutil.ReadFileioutil.WriteFile都使用*os.FileReadWrite方法,但是,大多數程序員很少需要直接調用那些低級(lower-level)函數。高級(higher-level)函數,像bufioio/ioutil包中所提供的那些,用起來要容易點。

練習 1.4: 脩改dup2,出現重複的行時打印文件名稱。