2012年6月25日 星期一

C語言巨集定義技巧



轉載自:http://miaozl.spaces.live.com/?_c11_blogpart_blogpart=blogview&_c=blogpart&_c02_owner=1&partqs=amonth%3d2%26ayear%3d2007

C語言巨集定義技巧
1,防止一個頭檔被重複包含 

#ifndef COMDEF_H

#define COMDEF_H

//頭檔內容

#endif 

2,重新定義一些類型,防止由於各種平臺和編譯器的不同,而產生的類型位元組數差異,方便移植。 

typedef unsigned char boolean; /* Boolean value type. */

typedef unsigned long int uint32; /* Unsigned 32 bit value */

typedef unsigned short uint16; /* Unsigned 16 bit value */

typedef unsigned char uint8; /* Unsigned 8 bit value */



typedef signed long int int32; /* Signed 32 bit value */

typedef signed short int16; /* Signed 16 bit value */

typedef signed char int8; /* Signed 8 bit value */
//下面的不建議使用

typedef unsigned char byte; /* Unsigned 8 bit value type. */

typedef unsigned short word; /* Unsinged 16 bit value type. */

typedef unsigned long dword; /* Unsigned 32 bit value type. */

typedef unsigned char uint1; /* Unsigned 8 bit value type. */

typedef unsigned short uint2; /* Unsigned 16 bit value type. */

typedef unsigned long uint4; /* Unsigned 32 bit value type. */

typedef signed char int1; /* Signed 8 bit value type. */

typedef signed short int2; /* Signed 16 bit value type. */

typedef long int int4; /* Signed 32 bit value type. */

typedef signed long sint31; /* Signed 32 bit value */

typedef signed short sint15; /* Signed 16 bit value */

typedef signed char sint7; /* Signed 8 bit value */ 



3,得到指定位址上的一個位元組或字 

#define MEM_B( x ) ( *( (byte *) (x) ) )

#define MEM_W( x ) ( *( (word *) (x) ) ) 

4,求最大值和最小值 

#define MAX( x, y ) ( ((x) > (y)) ? (x) : (y) )

#define MIN( x, y ) ( ((x) < (y)) ? (x) : (y) ) 

5,得到一個field在結構體(struct)中的偏移量 

#define FPOS( type, field ) \

/*lint -e545 */ ( (dword) &(( type *) 0)-> field ) /*lint +e545 */ 

6,得到一個結構體中field所佔用的位元組數 

#define FSIZ( type, field ) sizeof( ((type *) 0)->field ) 

7,按照LSB格式把兩個位元組轉化為一個Word 

#define FLIPW( ray ) ( (((word) (ray)[0]) * 256) + (ray)[1] ) 

8,按照LSB格式把一個Word轉化為兩個位元組 

#define FLOPW( ray, val ) \

(ray)[0] = ((val) / 256); \

(ray)[1] = ((val) & 0xFF) 

9,得到一個變數的位址(word寬度) 

#define B_PTR( var ) ( (byte *) (void *) &(var) )

#define W_PTR( var ) ( (word *) (void *) &(var) ) 

10,得到一個字的高位和低位元位元組 

#define WORD_LO(xxx) ((byte) ((word)(xxx) & 255))

#define WORD_HI(xxx) ((byte) ((word)(xxx) >> 8)) 

11,返回一個比X大的最接近的8的倍數 

#define RND8( x ) ((((x) + 7) / 8 ) * 8 ) 

12,將一個字母轉換為大寫 

#define UPCASE( c ) ( ((c) >= 'a' && (c) <= 'z') ? ((c) - 0x20) : (c) ) 

13,判斷字元是不是10進值的數字 

#define DECCHK( c ) ((c) >= '0' && (c) <= '9') 

14,判斷字元是不是16進值的數字 

#define HEXCHK( c ) ( ((c) >= '0' && (c) <= '9') ||\

((c) >= 'A' && (c) <= 'F') ||\

((c) >= 'a' && (c) <= 'f') ) 

15,防止溢出的一個方法 

#define INC_SAT( val ) (val = ((val)+1 > (val)) ? (val)+1 : (val)) 

16,返回陣列元素的個數 

#define ARR_SIZE( a ) ( sizeof( (a) ) / sizeof( (a[0]) ) ) 

17,返回一個無符號數n尾的值MOD_BY_POWER_OF_TWO(X,n)=X%(2^n) 

#define MOD_BY_POWER_OF_TWO( val, mod_by ) \

( (dword)(val) & (dword)((mod_by)-1) ) 

18,對於IO空間映射在存儲空間的結構,輸入輸出處理 

#define inp(port) (*((volatile byte *) (port)))

#define inpw(port) (*((volatile word *) (port)))

#define inpdw(port) (*((volatile dword *)(port)))

#define outp(port, val) (*((volatile byte *) (port)) = ((byte) (val)))

#define outpw(port, val) (*((volatile word *) (port)) = ((word) (val)))

#define outpdw(port, val) (*((volatile dword *) (port)) = ((dword) (val))) 

19,使用一些宏跟蹤調試

A N S I標準說明了五個預定義的宏名。它們是: 

_ L I N E _

_ F I L E _

_ D A T E _

_ T I M E _

_ S T D C _ 

如果編譯不是標準的,則可能僅支援以上宏名中的幾個,或根本不支持。記住編譯程序

也許還提供其他預定義的宏名。

_ L I N E _及_ F I L E _巨集指令在有關# l i n e的部分中已討論,這裏討論其餘的宏名。

_ D AT E _巨集指令含有形式為月/日/年的串,表示原始檔案被翻譯到代碼時的日期。

源代碼翻譯到目標代碼的時間作為串包含在_ T I M E _中。串形式為時:分:秒。

如果實現是標準的,則宏_ S T D C _含有十進位常量1。如果它含有任何其他數,則實現是

非標準的。

可以定義宏,例如:

當定義了_DEBUG,輸出資料資訊和所在檔所在行 

#ifdef _DEBUG

#define DEBUGMSG(msg,date) printf(msg);printf(“%d%d%d”,date,_LINE_,_FILE_)

#else

#define DEBUGMSG(msg,date)

#endif 



20,巨集定義防止使用是錯誤

用小括弧包含。

例如:#define ADD(a,b) (a+b)

用do{}while(0)語句包含多語句防止錯誤

例如:#difne DO(a,b) a+b;\

a++;

應用時:if(….)

DO(a,b); //產生錯誤

else



解決方法: #difne DO(a,b) do{a+b;\

a++;}while(0)


宏中"#"和"##"的用法
一、一般用法
我們使用#把巨集引數變為一個字串,用##把兩個巨集引數貼合在一起.
用法: 
#i nclude
#i nclude
using namespace std;

#define STR(s) #s
#define CONS(a,b) int(a##e##b)

int main()
{
printf(STR(vck)); // 輸出字串"vck"
printf("%d\n", CONS(2,3)); // 2e3 輸出:2000
return 0;
}


二、當巨集引數是另一個宏的時候
需要注意的是凡巨集定義裏有用'#'或'##'的地方巨集引數是不會再展開.

1, 非'#'和'##'的情況
#define TOW (2)
#define MUL(a,b) (a*b)

printf("%d*%d=%d\n", TOW, TOW, MUL(TOW,TOW));
這行的宏會被展開為:
printf("%d*%d=%d\n", (2), (2), ((2)*(2)));
MUL裏的參數TOW會被展開為(2).

2, 當有'#'或'##'的時候
#define A (2)
#define STR(s) #s
#define CONS(a,b) int(a##e##b)

printf("int max: %s\n", STR(INT_MAX)); // INT_MAX #i nclude
這行會被展開為:
printf("int max: %s\n", "INT_MAX");

printf("%s\n", CONS(A, A)); // compile error
這一行則是:
printf("%s\n", int(AeA));

INT_MAX和A都不會再被展開, 然而解決這個問題的方法很簡單. 加多一層中間轉換宏.
加這層巨集的用意是把所有宏的參數在這層裏全部展開, 那麼在轉換巨集裏的那一個巨集(_STR)就能得到正確的巨集引數.

#define A (2)
#define _STR(s) #s
#define STR(s) _STR(s) // 轉換宏
#define _CONS(a,b) int(a##e##b)
#define CONS(a,b) _CONS(a,b) // 轉換宏

printf("int max: %s\n", STR(INT_MAX)); // INT_MAX,int型的最大值,為一個變數 #i nclude
輸出為: int max: 0x7fffffff
STR(INT_MAX) --> _STR(0x7fffffff) 然後再轉換成字串;

printf("%d\n", CONS(A, A));
輸出為:200
CONS(A, A) --> _CONS((2), (2)) --> int((2)e(2))

三、'#'和'##'的一些應用特例
1、合併匿名變數名
#define ___ANONYMOUS1(type, var, line) type var##line
#define __ANONYMOUS0(type, line) ___ANONYMOUS1(type, _anonymous, line)
#define ANONYMOUS(type) __ANONYMOUS0(type, __LINE__)
例:ANONYMOUS(static int); 即: static int _anonymous70; 70表示該行行號;
第一層:ANONYMOUS(static int); --> __ANONYMOUS0(static int, __LINE__);
第二層: --> ___ANONYMOUS1(static int, _anonymous, 70);
第三層: --> static int _anonymous70;
即每次只能解開當前層的宏,所以__LINE__在第二層才能被解開;

2、填充結構
#define FILL(a) {a, #a}

enum IDD{OPEN, CLOSE};
typedef struct MSG{
IDD id;
const char * msg;
}MSG;

MSG _msg[] = {FILL(OPEN), FILL(CLOSE)};
相當於:
MSG _msg[] = {{OPEN, "OPEN"},
{CLOSE, "CLOSE"}};

3、記錄檔案名
#define _GET_FILE_NAME(f) #f
#define GET_FILE_NAME(f) _GET_FILE_NAME(f)
static char FILE_NAME[] = GET_FILE_NAME(__FILE__);

4、得到一個數值類型所對應的字串緩衝大小
#define _TYPE_BUF_SIZE(type) sizeof #type
#define TYPE_BUF_SIZE(type) _TYPE_BUF_SIZE(type)
char buf[TYPE_BUF_SIZE(INT_MAX)];
--> char buf[_TYPE_BUF_SIZE(0x7fffffff)];
--> char buf[sizeof "0x7fffffff"];
這裏相當於:
char buf[11];

什麼是Zero-Copy?


from:http://stenlyho.blogspot.tw/2008/08/zero-copy.html

什麼是Zero-Copy?
想要了解這個名詞是指什麼意思的話,讓我們從一個簡單的範例開始,這個範例是server讀取一個檔案,然後把檔案資料經由socket將資料傳送給client。
簡化範例程式如下:

read(file, tmp_buf, len);
write(socket, tmp_buf, len);

Figure 1的圖說明了,這兩行程式實際的運作流程。(1)當執行read函式後,進入Kernel的syscall read(),檔案資料會經由DMA傳到Kernel管的Buffer,然後再由CPU將檔案資料搬到user buffer(tmp_buf)裏。
(2)執行write後,Kernel的syscall write(),再用CPU去把user buffer的資料搬到socket buffer裏,資料進到socket buffer後,會再經由DMA的方式將資料送出去給client。

問題分析:
從整個流程你應該會發現有一堆資料是重覆的,如果能把這些部份改掉,那就可以減少記憶體的消耗並增加效能。
以硬體的角度來看,其實是可以做到直接跳過記憶體的資料暫存的,直接把檔案資料傳到網路去,這樣子的功能是最直接最有效率的,但並不是所有的硬體都支援這種方式。

那我們是否可以減少user buffer這個部份呢?答案是肯定的,我們必需使用mmap來取代read的功能。
簡化範例程式如下:

tmp_buf = mmap(file, len);
write(socket, tmp_buf, len);

Figure 2的圖說明了,這兩行程式實際的運作流程。(1)mmap執行後,如同read system call會將檔案資料經由DMA複製一份到kernel buffer,但不同的地方是,read()會需要把kernel buffer複製到user buffer,mmap()並不會,mmap的user buffer跟kernel buffer是同一個位置,所以mmap可以減少一次CPU copy。
(2)write()執行,把kernel buffer經由CPU複製到socket buffer,然後再經由DMA複製到client去。

問題分析:
但是使用mmap來改善並不是不需要付出代價的,當你使用mmap+write的方法時,假設同時又有另外一支程式對同一個檔案執行write時,將會引發SIGBUS的訊號,因為你執行了一個錯誤的記憶體存取,而它的預設處理行為是,系統砍掉你的程式,並且產生core dump。
當然一支網路程式不應該這麼做處理的,有兩個方式來處理這個情況:
(1)方法一:在SIGBUS訊號設置callback function,當SIGBUS出現時由這個新設置的handler來進行處理,但這種方式不好,因為它是事後去補救,並不是正規的解決方法。
(2)方法二:使用租約(lease)的方式(windows裏稱opportunistic locking機會鎖)
如:
if(fcntl(fd, F_SETSIG, RT_SIGNAL_LEASE) == -1) {
perror("kernel lease set signal");
return -1;
}
/* l_type can be F_RDLCK F_WRLCK */
if(fcntl(fd, F_SETLEASE, l_type)){
perror("kernel lease set type");
return -1;
}

更好的做法是使用sendfile函式
簡化範例程式如下:
sendfile(socket, file, len);
Figure 3的圖說明了,這行程式在Kernel 2.1版本的實際運作流程,sendfile直接取代了read/write兩個函式,並且減少了context switch的次數。(1)sendfile執行後,檔案資料會經由DMA傳給Kernel buffer,再由CPU複製到socket buffer去
(2)再把socket buffer的資料經由DMA傳給client去,所以執行了2次DMA Copy及1次的CPU Copy,總共3次的資料複製。

問題分析:
所以到目前為止我們已看到改善了不少地方了,但還是有一份重複的資料,那就是socket buffer,這份資料是否也可以不要呢?基本上也是可行的,只要硬體提供一點點幫助是可以做到的,那就是gather(聚合)的功能,這個功能主要的目的是,待發送端不要求存放的資料位址是連續的記憶體空間,可以是分散在記憶體的各個位置。所以到了2.4的kernel以後,socket buffer的descriptor做了一些變動,以支援gather的需求,而這個功能就是Zero-Copy。
這種方式不僅僅是減少了context switch而且也減少了buffer的使用,從上層的程式來講,也不需要做任何的變動。所以程式同樣的還是底下這行
sendfile(socket, file, len);
Figure 4的圖說明了,這行程式在Kernel 2.4版本的實際運作流程(1)sendfile執行後,檔案資料經由DMA傳給Kernel buffer,但已不會再把資料copy到socket buffer了,socket buffer只會去管有那些Kernel buffer的address及資料長度,所以圖是用apend。
(2)資料傳給client去也是用DMA的方式,但來源變成kernel buffer了。

所以就完成了,不需要CPU去搬資料,而是純DMA搬資料的Zero-Copy了。

原本資料來源:
http://www.linuxjournal.com/article/6345

測試文章:有人針對這篇文章去進行測試的實驗結果
雖然它測起來的傳輸速度似乎沒差,但應再加上CPU負載的資料及記憶體使用量去分析,如果速度一樣但CPU loading變輕,client端很多但記憶體使用量減少,那還是有很高的實用價值。
但還有個問題,網路傳輸不見得只有直接傳檔案啊,如果是傳非檔案的資料,sendfile還是適用嗎?
http://bbs.lpi-china.org/viewthread.php?tid=4292&extra=page%3D1

How to repair and clone disk with ddrescue

  ddrescue  is a tool that can be used to repair and clone disks on a  Linux system . This includes hard drives, partitions, DVD discs, flas...