一、引言

信息技術革命與經濟社會活動的交融催生了大數據。2015年8月，國務院印發了《促進大數據發展行動綱要》，把大數據作為基礎性資源，全面實施數據強國戰略，加快推動數據資源共享開放和開發應用，助力產業轉型升級和社會治理創新。與此同時，我國公安信息化建設發展迅猛，公安市場大規模的信息化和裝備投資產生了海量的結構化和非結構化數據，包括軌跡信息、工作信息、多媒體信息等。據不完全統計，截至2015年底，全國公安機關掌握的數據資源已達數百類、上萬億條、EB級的大數據規模。同時，數據產生匯集的速度越來越快，數據呈階梯式增長。目前，公安數據的年增長率超過50%，增長速度遠超以往任何時期。公安數據既有傳統的結構化數據，也有大量文檔、圖片、視頻、柵格、矢量、文本等非結構化數據，數據結構、存儲方式多種多樣。公安數據中蘊藏著人、事、物、組織和案件等豐富的信息，充分利用這些信息，挖掘海量數據背后隱藏的關聯關系，對于維護社會大局穩定、預防和打擊犯罪、輔助指揮決策都具有重要的價值。

各級公安機關快速積累并不斷增長的信息數據已成為繼警力資源、裝備資源之后的新一類核心資源。如何有效利用海量信息并挖掘內在更大的價值，成為提升公安實戰應用能力、建立立體化綜合防控體系面臨的重大難題。政法委書記孟建柱同志指出“誰率先擁有、善于利用大數據，誰就能掌握主動、贏得未來”，郭聲琨部長也強調“要大力加強大數據時代公安基層基礎工作，不斷提高維護公共安全和服務人民群眾的能力水平”。公安信息化“十三五”規劃已將云計算、大數據等新技術應用作為優化基礎性技術設施、提升信息化支撐能力的重要建設內容。

二、大數據相關概念

大數據是以容量大、類型多、存取速度快、應用價值高為主要特征的數據集合，正快速發展為對數據巨大、來源分散、格式多樣的數據進行采集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息計算和服務業態。

大數據的特點可以用4個V來概括：第一，Volume，數據體量巨大，從TB級別，躍升到PB級別;第二，Variety，數據類型繁多，包括網絡日志、視頻、圖片、地理位置信息等等;第三，Value，價值密度低，以視頻為例，連續不間斷監控過程中可能有用的數據僅僅有一兩秒;第四，Velocity，處理速度快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最后這一點也是和傳統的數據挖掘技術有著本質的不同。這4個V對應了大數據領域中核心的4類技術，即大數據存儲、大數據治理、大數據挖掘、大數據計算。隨著近年來技術的發展，為大數據的處理提供了可能，也為公安工作思路創新提供了新機遇。

三、公安大數據平臺架構

公安大數據應用是基于云計算平臺構建基于全警采集、全警共享的統一的大數據平臺，為實現智慧警務提供核心支撐能力。公安大數據平臺架構如圖1所示。

公安大數據平臺分為接口數據層、數據匯聚層、數據庫資源池、共享服務層、數據應用層、門戶層六大層次。

接口數據層：提供公安內部數據、社會采集數據的接口引進管理。

數據匯聚層：提供社會數據、公安內部數據的采集交換、加工整合和數據治理功能。

圖1 公安大數據應用研究

數據庫資源池：建立各類數據資源整合加工的成果存儲管理機制，提供臨時緩沖庫、數據標準化庫、細節沉淀庫，以及衍生數據庫和資源應用庫。

共享服務層：提供數據資源的統一共享和服務管理功能，包括服務接口、接口配置功能、服務資源目錄、資源服務總線和服務資源監控等功能。

數據應用層：資源應用層主要包括：綜合查詢、搜索引擎、數據比對、布控預警、分類統計等常用功能，以及趨勢分析、異常分析、相關性分析等挖掘功能。

門戶層：提供單點登錄、應用導航、信息發布、交流反饋等功能，并實現與外界的統一交互。

四、公安大數據建設主要內容

(一)公安大數據資源規劃

當前，經過金盾工程建設與應用積累，公安已經沉淀了海量數據資源，建立了多個實戰業務應用系統，以資源整合共享理念為基礎，建立了資源服務平臺，形成了公安八大資源庫。由于業務需求和業務理解不同，各業務應用系統中存在同名數據項實際業務含義不同，同業務含義的數據項名稱不同，同義數據項的數據類型、長度等格式定義存在差異等情況，造成公安信息資源共享、關聯應用的困難。

制定統一的公安信息資源目錄體系和公安元數據標準，搭建信息資源服務平臺，從源頭上規范數據采集、整合和共享服務;基于業務屬性開展人員、物品、案件、地址、組織、服務標識等主題域模型的細化設計，對數據進行科學、合理、標準的規劃;建立數據邏輯集中、物理分布，全景邏輯一體化應用的公安大數據體系，是公安大數據發展的基石。

圖2 主題域劃分圖

(二)公安大數據匯集

依托公安云計算環境的建立，通過公安內部數據接口實現與網綜平臺、警綜平臺、PGIS平臺、情報綜合平臺、治安防控平臺、三臺合一接處警系統、監所系統、出入境系統、卡口數據庫、視頻數據庫以及其他相關警種部門業務系統的數據交換。另一方面，通過公共信息共享交換平臺接入社會外部單位的業務系統數據，如民航鐵路訂票系統、酒店旅店住宿系統、公路客運系統、通信運營商系統、工商稅務系統、民政司法系統、社交媒體系統、電商系統、教育宗教等系統的外部數據。通過數據資源共享機制為各類情報應用系統提供數據資源支持。

(三)公安大數據管理

構建端到端、可視化的數據采集匯集和整合加工體系，并基于元數據技術，實現結構化數據、非結構化數據的一體化管理，涵蓋數據采集、數據加工流程調度、數據質量管控等數據處理環節。

元數據管理：通過統一的平臺元數據管控，實現對平臺各類數據標準、定義、關系及規則等的集中管理和統一服務，確保平臺數據運行的規范化、標準化、可視化。

數據質量管理：通過標準化的規則管理和調度控制，建立各類數據稽核手段、數據質量分析體系，確保平臺數據一致性、完整性、合規性。

提供端到端的加工流程管控體系，采用體系化、標準、可重復的監管機制和執行流程，保證數據加工的統一及數據流程的透明性，保障數據質量及數據可用性，實現管理數據從采集、加工、存儲、應用、歸檔到最終刪除等一系列處理環節中的可視化、配置化、易調控，完成端到端的數據透明管控。

利用業務流程驅動機制，使各個數據處理節點的控制要素有機實現鏈式觸發，提升平臺數據管控的運營能力和效率，實現平臺與內部系統及外部環境的信息數據共享。

(四)公安大數據服務

公安大數據平臺對外發揮價值的核心是提供種類豐富、類型多樣的服務接口和服務能力。從服務類型來看，可分為通用類服務、研判類服務和智能類服務。

通用類服務：在大數據平臺提供的數據資源基礎上，結合分布式計算、可視化分析和展現等技術，可實現綜合查詢、搜索引擎、數據比對、布控預警、分類統計等常用功能，以及趨勢分析、異常分析、相關性分析等挖掘功能。

研判類服務：基于大數據分析挖掘，實現各類戰法集市、積分預警模型、全要素分析工具、社交網絡分析、隱性重點人挖掘、治安態勢分析等綜合情報研判功能。

智能類服務：綜合情報研判功能，實現案件多維分析、人流激增預警、犯罪預測模型、人員智能畫像、涉恐系數分析、人員親密度模型分析等功能。

五、公安大數據關鍵技術

(一)公安資源融合技術

采用分布式大數據協同技術，實現“物理分布、邏輯統一”的數據管理，解決數據資源分布在多個地理分布的數據中心開展數據資源綜合應用的問題;通過批處理和流處理引擎，實現對離線批處理的復雜處理和對流式數據的高速處理，為警務分析提供實時/準實時的快速處理能力;通過存儲技術、分布式文件系統技術實現對復雜多結構數據的管理與分析，支持傳統的Schema數據、Schema-free數據和視頻/音頻/圖像數據的分析與管理。

(二)數據治理技術

數據治理是指從使用零散數據變為使用統一主數據、從具有很少或沒有組織和流程治理到機構全業務范圍內的綜合數據治理、從嘗試處理主數據混亂狀況到主數據井井有條的一個過程。

公安大數據平臺建設引入數據治理的核心思想和技術，從制度、標準、監控、流程幾個方面提升數據信息管理能力，解決數據標準問題、數據質量問題、元數據管理問題和數據服務問題。

(三)數據挖掘技術

數據挖掘是從數據中自動地抽取出模式、關聯、變化、異常和有意義的結構。根據數據挖掘的任務可分為多種類型，比較典型的有關聯分析、分類分析、聚類分析、序列分析等。

關聯分析：是在關系數據中，發現存在于項目集或對象集之間的關聯規則，包括關聯、相關性、因果結構或頻繁出現的模式。常用的關聯分析算法有Apriori算法及它的各種改進或擴展算法。

分類分析：分類是實現定義好類別，屬于有指導學習范疇。分類分析是根據數據的特征為每個類建立一個模型，根據數據的屬性將數據分配到不同的組中。常用分類算法有決策樹、神經網絡、貝葉斯分類等。

聚類分析：是按照某種相近程度度量方法將數據分成互不相同的一些分組，實現每一聚類內部的相似性很高、各聚類之間的相似性很低。常用的聚類算法有K均值、最近鄰、神經網絡等。

預測模型分析：是從數據庫或數據倉庫中已知的數據推測位置的數據或對象集中某些屬性的值分布。建立預測模型的常用方法包括回歸分析、線型模型、支持矢量集、決策樹預測、遺傳算法、隨機森林算法等。

文本挖掘：文本是無結構或半結構化的數據，文本挖掘是從文本數據中推導出模式，其過程是通過文本分析、特征提取、模式分析的過程來實現。主要技術包括文本結構分析、文本特征提取、文本檢索、文本自動分類/聚類、文檔自動摘要、話題檢測與追蹤、文本過濾、文本情感分析等。

(四)可視化分析技術

可視化分析主要應用于海量數據關聯分析，由于所涉及的信息比較分散、數據結構不統一，分析過程存在非結構性和不確定性，不易形成固定的分析流程或模式，很難將數據調入應用系統中進行分析挖掘。借助可視化數據分析平臺，輔助人工操作將數據進行關聯分析，并做出完整的分析圖表。圖表中包含所有事件的相關信息，也完整展示數據分析的過程和數據鏈走向。

六、公安大數據應用

——以涉恐等為例

(一)涉恐系數

涉恐系數應用以部級信息資源服務平臺匯集的數百億條數據作為數據基礎，應用機器學習等大數據技術，提煉反恐業務特征數據項，學習已掌握的涉恐人員數據，提出人員刻畫六維模型，即從身份特質、行為偏好、關系網絡、不良記錄、時空軌跡、經濟狀況六個維度描述和刻畫一個人。每一個維度上又包含了大量具體的特征。在此基礎上，構建形成涉恐人員標簽體系和涉恐系數綜合計算模型，通過大數據分析處理實現對千萬級目標群體的涉恐概率計算。

某市公安局根據涉恐系數計算結果，對23人進行落地核查和跟進管控，核查出涉恐人員7人，取得了較好的預警效果。

(二)犯罪預測

犯罪預測應用利用大數據技術，自動抽取警綜平臺內案事件、人口、地理、天氣、房價等數據進行智能建模分析，預測當天轄區案件的高發區域及發案概率，把需要重點防控的區域以簡明扼要的圖形界面直觀地凸顯出來，科學引導一線巡防。

犯罪預測應用使用的數據集包括了警務綜合平臺的接處警、案事件、人口等39類公安業務數據，以及地理、天氣、房價等11類社會時空地理信息，共約8億條數據。與傳統數據分析采用抽樣數據不同，大數據預測是用全量數據。通過機器學習，發現各類因子與警情的相關性，形成預測模型，不斷用數據檢驗預測結果，修正完善形成最佳的預測模型。

某市公安局下轄各派出所采用犯罪預測系統三個月后，統計入室盜竊類違法犯罪警情由2814起下降至2520起，同比下降10.5%。

圖4 犯罪預測應用截圖

(三)警務監督管理

警務監督管理應用利用大數據技術，構建預防腐敗工作“1+3+X”大數據技戰法模型，通過抽取有關業務系統高風險項目監測點數據，對業務工作、隊伍管理等信息開展關聯碰撞、分析研判、預警提示，重點解決傳統監督手段進不了系統、系統之間信息關聯不夠、違紀違法苗頭難以及時發現等問題，達到預防腐敗工作抓早抓小、防患未然的目的。

某市公安局紀委針對近年來查辦的民警利用職務之便，違規將戶口遷入拆遷地區以非法獲利的案件，圍繞人口系統“辦理常駐戶口登記”權力運行中容易發生問題的風險點，關聯派出所綜合信息系統、警力資源信息系統、執紀辦案信息系統、投訴舉報信息系統的信息資源，對2013年以來某派出所辦理戶口數據進行分析，發現了18名民警將本人戶籍由原來的城鎮居民戶口(樓房)，遷入農村重點拆遷地區的異常情況。

七、結論

隨著公安信息化建設與應用的不斷深化，公安機關掌握的數據資源的廣度和深度正在快速擴大，各警種業務對大數據的依賴性越來越強，對大數據定制服務、模型研發的需求越來越多，要求越來越高。實施公安大數據戰略可以順應信息化條件下公安實戰需求，加強對公安內外部數據資源的匯聚、清洗、管理、挖掘分析等工作，為各警種提供更高質量、更有針對性的大數據定制服務，為公安中心工作提供更有力的支持和保障。本文主要對此進行了分析和描述，介紹了大數據的概念、平臺架構和重點內容，為公安大數據應用提供借鑒。