不要讓您的云應(yīng)用程序數(shù)據(jù)被破壞
Optim Data Privacy 包含一組數(shù)據(jù)隱私功能提供程序，它們能夠屏蔽或替換各種信息類型，比如信用卡號、日期和一些國家的全國性 ID。這些數(shù)據(jù)隱私功能提供程序是跨平臺和跨環(huán)境的，被實(shí)現(xiàn)為一系列共享庫，而且可由所有支持 C 語言調(diào)用約定的應(yīng)用程序調(diào)用。
SQL Database (SQLDB) 在 Bluemix 上提供了 IBM DB2 Enterprise Server Edition 10.5 版的一個(gè)基于云的實(shí)例，這是 IBM 的開放云架構(gòu)的一種實(shí)現(xiàn)，該實(shí)現(xiàn)利用了 Cloud Foundry 使開發(fā)人員能夠快速構(gòu)建、部署和管理云應(yīng)用程序。因?yàn)?SQLDB 屬于 DB2，所以 Optim Data Privacy 特性可以在配備的數(shù)據(jù)庫實(shí)例中提供。
在本教程中您將會看到，Bluemix 和 Optim 提供了必要的工具和技術(shù)，幫助您在應(yīng)用程序中構(gòu)建有效的數(shù)據(jù)隱私保護(hù)。
您需要滿足的前提條件
要完成本教程的學(xué)習(xí)，您應(yīng)該對面向?qū)ο蟮脑O(shè)計(jì)和開發(fā)具有充分的理解。還應(yīng)該基本熟悉 JEE Servlet 和關(guān)聯(lián)的應(yīng)用編程接口 (API)。因?yàn)樵搼?yīng)用程序使用了 JDBC 和 SQL，所以了解該 API 和如何編寫 SQL 語句會對您有所幫助。
如果不熟悉 SQLDB，可以在 SQL Database 入門 中了解有關(guān)的基本知識。“數(shù)據(jù)隱私特性” 一節(jié)包含一組用戶定義的函數(shù)和主要用例。下面將簡短介紹用戶定義的函數(shù)和數(shù)據(jù)隱私特性。
用戶定義的函數(shù)
用戶定義的函數(shù) (UDF) 是一種由用戶提供的自定義函數(shù)，可像內(nèi)置函數(shù)（比如 ABS、CONCAT 和 SUBSTR）一樣從 SQL 語句調(diào)用。Optim Data Privacy UDF 是標(biāo)量函數(shù)，它們接受一個(gè)值和一個(gè)屏蔽規(guī)范字符串作為輸入，返回一個(gè)經(jīng)過屏蔽的值。
標(biāo)量函數(shù)（內(nèi)置的和 UDF）可用在任何可合法使用列引用或文字的 SQL 語句中。下面這個(gè)示例返回一組屏蔽的信用卡號。
單 1. UDF 使用示例
- SELECT
- DB2INST1.OptimMaskStr(CREDITCARD_NUMBER,'pro=ccn,method=repeatable, \
- pattern=6C,wheninvalid=preserve,flddef1=(name=c1,dt=varchar)'),
- FROM USER01.OPTIM_CUSTOMERS
在 Bluemix 中，Optim UDF 安裝在 DB2INST1 SQL Database 目錄中，所以函數(shù)名稱必須按上述方式進(jìn)行限定。所有 Optim UDF 的名稱都以 OptimMask 開頭，以便與其他 UDF 進(jìn)行區(qū)分。函數(shù)名稱的后綴表明它接受的數(shù)據(jù)類型。
在本例中，Str 指一個(gè)字符串，比如 CHAR 或 VARCHAR。其他后綴包括 Date（接受一個(gè)日期）和 Int16 和 Int32（分別接受 16 和 32 位整數(shù)）。
數(shù)據(jù)隱私特性
Optim Data Privacy 提供程序能夠屏蔽許多不同類型的信息。各種 UDF 可通過屏蔽作為一個(gè)輸入?yún)?shù)傳遞的規(guī)范字符串，指定要屏蔽的信息類型。
親緣性隱私功能提供程序
可使用親緣性隱私功能提供程序來屏蔽數(shù)據(jù)，同時(shí)保持來源值的格式和字符類型。例如，該提供程序可以保持?jǐn)?shù)據(jù)的格式，比如帳號或駕照編號，同時(shí)使用字符數(shù)據(jù)屏蔽字符數(shù)據(jù)，使用數(shù)字屏蔽數(shù)字。
年齡隱私功能提供程序
可使用年齡隱私功能提供程序屏蔽一個(gè)來源字段中的年齡值。來源值可包含字符、數(shù)字、日期或時(shí)間戳數(shù)據(jù)，但必須始終表示一個(gè)日期，比如生日。
信用卡隱私功能提供程序
可以使用信用卡隱私功能提供程序來生成一個(gè)有效且惟一的信用卡號 (CCN)。在默認(rèn)情況下，該提供程序使用了一種可重復(fù)的方法，通過算法基于來源 CCN 生成一個(gè)經(jīng)過一致地修改的 CCN。在來源數(shù)據(jù)沒有 CCN 值時(shí)，或者不需要以一致的方式轉(zhuǎn)換來源 CCN 時(shí)，該提供程序還可以生成一個(gè)隨機(jī)值。
電子郵件隱私功能提供程序
可以使用電子郵件隱私功能提供程序生成一個(gè)電子郵件地址。電子郵件地址由兩部分組成，一個(gè)用戶名和一個(gè)域名，它們之間使用 @ 符號分開。例如 user@domain.com。
哈希隱私功能提供程序
可使用哈希隱私功能提供程序，使用一個(gè)哈希算法生成的數(shù)字值屏蔽來源數(shù)據(jù)?？梢赃@些數(shù)字值為基礎(chǔ)，提供來自查找表或一個(gè)值數(shù)組的替換數(shù)據(jù)。
全國性 ID 隱私功能提供程序
可以使用全國性 ID 隱私功能提供程序屏蔽全國性 ID 編號，比如美國社會安全編號。該提供程序可以使用保留了部分來源值的可重復(fù)方法，或者使用不會保留來源值的任何部分的隨機(jī)方法來屏蔽全國性 ID 編號。該提供程序還包含輸出值的多個(gè)分隔符選項(xiàng)（斜杠、句點(diǎn)、空格或無分隔符）。
其他隱私功能提供程序
Optim Data Privacy 提供程序庫還包含用于對通常無法通過算法屏蔽的信息類型（比如姓名和地址）執(zhí)行查找操作的提供程序。但是，大多數(shù)關(guān)系數(shù)據(jù)庫管理系統(tǒng) (RDMS) 都不允許從 SQL UDF 內(nèi)訪問數(shù)據(jù)庫表，所以要執(zhí)行查找，需要使用哈希隱私功能提供程序，并使用該哈希值作為鍵來選擇查找替換值，比如通過聯(lián)結(jié) (join)。
- String vcapServices = System.getenv("VCAP_SERVICES");
- if (vcapServices != null) {
- context.log("Has VCAP_SERVICES.");
- String vcapKey =
- context.getInitParameter(InitParameterNames.VCAP_KEY);
- if (vcapKey != null) {
- context.log("The VCAP key is '" + vcapKey + "'");
- }
- JsonParser parser = new JsonParser();
- try {
- JsonObject services = parser.parse(vcapServices).getAsJsonObject();
- JsonArray array = null;
- JsonObject service = null;
- if (vcapKey != null) {
- context.log("Looking up service '" + vcapKey + "'...");
- JsonElement element = services.get(vcapKey);
- if (element != null) {
- context.log("Service '" + vcapKey + "' found.");
- array = element.getAsJsonArray();
- }
- }
- if (array == null) {
- context.log("Using first available service...");
- Set<Entry<String, JsonElement>> entrySet = services.entrySet();
- Iterator<Entry<String, JsonElement>> iterator =
- entrySet.iterator();
- if (iterator.hasNext()) {
- Entry<String, JsonElement> entry = iterator.next();
- JsonElement element = entry.getValue();
- array = element.getAsJsonArray();
- } else {
- context.log("No services defined.");
- }
- }
- if (array != null) {
- if (array.size() > 0) {
- service = array.get(0).getAsJsonObject();
- String name = service.get("name").getAsString();
- context.log("Service name is '" + name + "'.");
- String label = service.get("label").getAsString();
- context.log("Service label is '" + label + "'.");
- String plan = service.get("plan").getAsString();
- context.log("Service plan is '" + plan + "'.");
- JsonObject credentials =
- service.get("credentials").getAsJsonObject();
- url = credentials.get("jdbcurl").getAsString();
- context.log("URL is '" + url + "'.");
- user = credentials.get("username").getAsString();
- context.log("User is '" + user + "'.");
- password = credentials.get("password").getAsString();
- context.log("Password is '" + password + "'.");
- }
- }
- } catch (Exception e) {
- context.log("Error parsing VCAP_SERVICES", e);
- }
- }
從 VCAP_SERVICES 獲得連接 URL 和憑據(jù)后，連接到 SQL Database 就像使用 JDBC 連接到 DB2 LUW 一樣：
清單 3. 連接到 SQL Database
- connection = null;
- ApplicationConfiguration configuration = getConfiguration();
- try {
- connection = DriverManager.getConnection(
- configuration.getUrl(),
- configuration.getUser(),
- configuration.getPassword());
- log("Connected to database.");
- } catch (SQLException e) {
- log("Unable to connect to database.", e);
- }
演示應(yīng)用程序支持使用清單 6 中所示的 CREATE TABLE AS VIEW 機(jī)制來創(chuàng)建一個(gè)包含敏感信息的表的副本。像其他 JDBC 應(yīng)用程序一樣，這些步驟非常簡單：
- 構(gòu)建要執(zhí)行的 SQL。
- 從連接中獲?。ɑ蛑赜茫┮粋€(gè) SQL 語句。
- 執(zhí)行該 SQL。
清單 4. 獲取該 SQL 語句
- Connection connection = connectionManager.getConnection();
- if (connection == null) {
- thrownew IllegalStateException("Database connection not available");
- }
- if (connection != this.connection) {
- log("Connection is new or has changed - creating new statement.");
- this.connection = connection;
- if (statement != null) {
- try {
- statement.close();
- } catch (SQLException e) {
- // Ignore.
- }
- }
- statement = connection.createStatement();
- }
- return statement;
清單 5. 執(zhí)行該 SQL 語句
- Statement statement = getStatement();
- return statement.executeUpdate(sql);
#p#
創(chuàng)建一個(gè)屏蔽的表副本涉及兩個(gè)步驟：
- 創(chuàng)建新表。
- 插入來自原始表的數(shù)據(jù)，使用 UDF 屏蔽敏感信息。
清單 6. 創(chuàng)建 SQL 來構(gòu)建新表
- ApplicationConfiguration configuration = getConfiguration();
- return String.format("CREATE TABLE %s.OPTIM_SALES_MASKED AS
- (SELECT * FROM %s.OPTIM_SALES) WITH NO DATA",
- configuration.getSchema(),
- configuration.getSchema());
清單 7. 創(chuàng)建 SQL 來插入來自原始表的數(shù)據(jù)
- ApplicationConfiguration configuration = getConfiguration();
- StringBuilder builder = new StringBuilder();
- builder.append(String.format("INSERT INTO %s.OPTIM_SALES_MASKED (\n",
- configuration.getSchema()));
- builder.append(" SALESMAN_ID,\n");
- builder.append(" FIRST_NAME,\n");
- builder.append(" LAST_NAME,\n");
- builder.append(" NATIONALITY,\n");
- builder.append(" NATIONAL_ID,\n");
- builder.append(" PHONE_NUMBER,\n");
- builder.append(" AGE,\n");
- builder.append(" SEX,\n");
- builder.append(" TERRITORY,\n");
- builder.append(" EMAIL_ADDRESS,\n");
- builder.append(" MANAGER_ID\n");
- builder.append(") SELECT SALESMAN_ID,\n");
- builder.append(" FIRST_NAME,\n");
- builder.append(" LAST_NAME,\n");
- builder.append(" NATIONALITY,\n");
- if (configuration.isUseUDFs()) {
- builder.append(" ");
- String udfSchema = configuration.getUdfSchema();
- if (udfSchema != null) {
- builder.append(udfSchema);
- builder.append('.');
- }
- builder.append("OptimMaskStr(NATIONAL_ID,'pro=nid,switch=us,
- wheninvalid=preserve,flddef1=(name=c1,dt=varchar)'),\n");
- } else {
- builder.append(" NATIONAL_ID,\n");
- }
- builder.append(" PHONE_NUMBER,\n");
- builder.append(" AGE,\n");
- builder.append(" SEX,\n");
- builder.append(" TERRITORY,\n");
- builder.append(" EMAIL_ADDRESS,\n");
- builder.append(" MANAGER_ID\n");
- builder.append(String.format(" FROM %s.OPTIM_SALES WHERE NATIONALITY =
- 'U.S.'\n", configuration.getSchema()));
- return builder.toString();
SQL Database DDL
由于 SQL Database 服務(wù)作為基于云的產(chǎn)品的性質(zhì)，該服務(wù)提供的 DB2 數(shù)據(jù)庫存在多種限制和局限性。最明顯的限制是，目前無法從云外部連接到 SQL Database 實(shí)例。這使得用戶無法使用 DB2 命令行實(shí)用程序和其他 SQL 工具（比如 Eclipse）。但 SQL Database 有一個(gè)與 Bluemix 集成的控制臺提供了此功能。
要啟動該控制臺，需要使用您的憑據(jù)登錄到 Bluemix。這會調(diào)出您的儀表板。在左側(cè)，可以訪問應(yīng)用程序和服務(wù)。單擊 SERVICES 展開該列表并選擇您的 SQL Database 服務(wù)。
圖 1. 您的 Bluemix 儀表板
1.要啟動該控制臺，需要使用您的憑據(jù)登錄到 Bluemix。這會調(diào)出您的儀表板。在左側(cè)，可以訪問應(yīng)用程序和服務(wù)。單擊 SERVICES 展開該列表并選擇您的 SQL Database 服務(wù)。
圖 1. 您的 Bluemix 儀表板
2.這會打開 SQL 控制臺的啟動面板。單擊 LAUNCH，這會在瀏覽器中打開一個(gè)新窗口或選項(xiàng)卡。Bluemix 建議采用的默認(rèn)名稱為 mySQLDB。我選擇使用 sqldb。
圖 2. SQL Database 控制臺啟動面板
3.單擊 Work with Database Objects 查看數(shù)據(jù)庫實(shí)例元數(shù)據(jù)，比如模式、表、視圖和函數(shù)。
圖 3. SQL Database 控制臺
4.如果有多個(gè) SQL Database 服務(wù)器綁定到您的應(yīng)用程序，那么可以使用 Database: 下拉菜單選擇您想要查看和使用的數(shù)據(jù)庫。
要創(chuàng)建數(shù)據(jù)庫表和視圖，可以單擊 Run DDL。
圖 4. 使用數(shù)據(jù)庫對象
#p#
5.這會調(diào)出一個(gè)選項(xiàng)卡，用于鍵入或粘貼 DDL，或者從您的本地文件系統(tǒng)加載一個(gè) SQL 腳本文件。
圖 5. 運(yùn)行 DDL
清單 8. DDL 語句
- ------------------------------------------------
- -- DDL Statements for table "USER01 "."OPTIM_CUSTOMERS"
- ------------------------------------------------
- CREATETABLE "USER01 "."OPTIM_CUSTOMERS" (
- "CUST_ID" CHAR(5) NOTNULL ,
- "CUSTNAME" CHAR(20) NOTNULL ,
- "ADDRESS1" VARCHAR(100) NOTNULL ,
- "ADDRESS2" VARCHAR(100) ,
- "LOCALITY" VARCHAR(56) ,
- "CITY" VARCHAR(60) ,
- "STATE" VARCHAR(30) ,
- "COUNTRY_CODE" CHAR(2) ,
- "POSTAL_CODE" VARCHAR(15) ,
- "POSTAL_CODE_PLUS4" CHAR(4) ,
- "EMAIL_ADDRESS" VARCHAR(70) ,
- "PHONE_NUMBER" VARCHAR(20) ,
- "YTD_SALES" DECIMAL(7,2) NOTNULLWITHDEFAULT ,
- "SALESMAN_ID" CHAR(6) ,
- "NATIONALITY" VARCHAR(30) ,
- "NATIONAL_ID" VARCHAR(30) ,
- "CREDITCARD_NUMBER" VARCHAR(19) ,
- "CREDITCARD_TYPE" VARCHAR(30) ,
- "CREDITCARD_EXP" CHAR(4) ,
- "CREDITCARD_CVV" VARCHAR(4) ,
- "DRIVER_LICENSE" VARCHAR(30) ,
- "CREDITCARD_HISTORY" CLOB(1048576) LOGGED NOT COMPACT )
- IN "USERSPACE1" ;
- -- DDL Statements for indexes on Table "USER01 "."OPTIM_CUSTOMERS"
- CREATEUNIQUEINDEX "USER01 "."XPK_CUST" ON "USER01 "."OPTIM_CUSTOMERS"
- ("CUST_ID" ASC)
- COMPRESS NO ALLOW REVERSE SCANS;
- -- DDL Statements for primary key on Table "USER01 "."OPTIM_CUSTOMERS"
- ALTERTABLE "USER01 "."OPTIM_CUSTOMERS"
- ADDPRIMARYKEY
- ("CUST_ID");
- ------------------------------------------------
- -- DDL Statements for table "USER01 "."OPTIM_SALES"
- ------------------------------------------------
- CREATETABLE "USER01 "."OPTIM_SALES" (
- "SALESMAN_ID" CHAR(6) NOTNULL ,
- "FIRST_NAME" VARCHAR(15) NOTNULL ,
- "LAST_NAME" VARCHAR(15) NOTNULL ,
- "NATIONALITY" VARCHAR(30) ,
- "NATIONAL_ID" VARCHAR(30) ,
- "PHONE_NUMBER" VARCHAR(20) NOTNULL ,
- "AGE" SMALLINTNOTNULLWITHDEFAULT ,
- "SEX" CHAR(1) NOTNULLWITHDEFAULT ,
- "TERRITORY" VARCHAR(14) NOTNULL ,
- "EMAIL_ADDRESS" VARCHAR(70) NOTNULL ,
- "MANAGER_ID" VARCHAR(6) )
- IN "USERSPACE1" ;
- -- DDL Statements for indexes on Table "USER01 "."OPTIM_SALES"
- CREATEUNIQUEINDEX "USER01 "."XPK_SALES" ON "USER01 "."OPTIM_SALES"
- ("SALESMAN_ID" ASC)
- COMPRESS NO ALLOW REVERSE SCANS;
- -- DDL Statements for primary key on Table "USER01 "."OPTIM_SALES"
- ALTERTABLE "USER01 "."OPTIM_SALES"
- ADDPRIMARYKEY
- ("SALESMAN_ID");
加載數(shù)據(jù)
執(zhí)行必要的 DDL 后，可以將任何所需的數(shù)據(jù)加載到數(shù)據(jù)庫實(shí)例中。演示應(yīng)用程序的數(shù)據(jù)包含兩個(gè)表：
- 客戶數(shù)據(jù)
- 銷售數(shù)據(jù)
這兩個(gè)表包含敏感信息，在真實(shí)世界中，應(yīng)該在用于分析或測試之前先屏蔽這些信息。
圖 6. 客戶數(shù)據(jù)
圖 7. 銷售數(shù)據(jù)
以下步驟展示了銷售數(shù)據(jù)的加載。
1.單擊控制臺的 Getting Started 頁面上的 Load Data，如 圖 3 所示。這會調(diào)出 Load Data 頁面。
單擊 Browse files 選擇您的本地文件系統(tǒng)中的一個(gè)文件，其中包含逗號分隔值 (CSV) 格式的數(shù)據(jù)。一定要為 Row one contains the column names 選擇 No。
使用 table 下拉菜單選擇該表，單擊 Load File 將數(shù)據(jù)上傳到 Bluemix。
圖 8. 瀏覽并上傳數(shù)據(jù)
上傳并解析文件后，會顯示內(nèi)容的預(yù)覽視圖。單擊 Next 選擇加載目標(biāo)。
圖 9. 上傳的數(shù)據(jù)的預(yù)覽視圖
確保已選擇 Load into an existing table 并單擊 Next。
圖 10. 選擇目標(biāo)
#p#
為數(shù)據(jù)選擇模式 USER01 和目標(biāo)表。您會看到一個(gè)列出了表列的彈出窗口，在確認(rèn)您已選擇正確的表后，可以關(guān)閉此彈窗。
圖 11. 選擇表
如果該表已在上面的 運(yùn)行 DDL 步驟中創(chuàng)建，那么是附加數(shù)據(jù)還是替換數(shù)據(jù)沒有任何區(qū)別。如果該表之前已加載，而且您希望重新開始，那么可以選擇 Replace any data in the table with new data，然后單擊 Finish。
Bluemix 將數(shù)據(jù)加載到表中后，您將獲得一個(gè)表明加載、拒絕、刪除和跳過的行數(shù)的狀態(tài)，以及一個(gè)表預(yù)覽視圖。
圖 12. 選擇加載選項(xiàng)
加載了客戶和銷售數(shù)據(jù)后，演示應(yīng)用程序就可以使用數(shù)據(jù)庫了。
圖 13. 加載完成
部署和測試您的應(yīng)用程序
可以使用 Cloud Foundry cf 命令行實(shí)用程序 部署 Web 應(yīng)用程序歸檔文件 (WAR)。
- 在可以部署（推送）應(yīng)用程序之前，必須登錄到您的 API 端點(diǎn)：
- 可以推送一個(gè)
.war文件或一個(gè)目錄的內(nèi)容（布局類似于一個(gè).war文件）。在本例中，只需推送.war文件： - 也可以使用 cf 查詢部署的應(yīng)用程序和它們使用的服務(wù)：
- 完成上述操作后，您應(yīng)該注銷：
- 應(yīng)用程序被推送到 Bluemix 后，可以從 Web 瀏覽器通過 http://<app name>.mybluemix.net/ 訪問它。
單擊 Mask Customer Credit Card Numbers 或 Mask Sales Social Security Numbers。
圖 14. 演示應(yīng)用程序
在下一個(gè)屏幕上，單擊 Mask Social Security Numbers。
圖 15. 未屏蔽的銷售數(shù)據(jù)
預(yù)覽將執(zhí)行的 3 個(gè)步驟： 然后單擊 Perform Steps and Compare。
圖 16. 屏蔽銷售錯(cuò)誤
- 丟棄包含屏蔽的數(shù)據(jù)的表（如果存在）。
- 創(chuàng)建將包含屏蔽的數(shù)據(jù)的表。
- 發(fā)出一個(gè)語句來插入銷售數(shù)據(jù)，同時(shí)屏蔽社會安全編號。
- 檢查屏蔽的數(shù)據(jù)，您可能注意到，所有社會安全編號都與原始編號不同。
圖 17. 屏蔽的銷售數(shù)據(jù)
結(jié)束語
隨著有關(guān)數(shù)據(jù)隱私的法律法規(guī)得到更多的關(guān)注，企業(yè)擁有具有數(shù)據(jù)屏蔽功能的應(yīng)用程序變得至關(guān)重要。如本教程所示，IBM Bluemix 和 Optim 提供了必要的技術(shù)和工具來幫助您構(gòu)建這些應(yīng)用程序。
原文出自：http://www.ibm.com/developerworks/cn/cloud/library/cl-optimprivacy-app/index.html
