資料集市有什麼功能
引言｜產品天花板比市場天花板更重要
正如主導晶片行業的基本規律是摩爾定律，撇開虛浮的熱詞，主導軟體行業的基本規律也很簡單，就是人月神話提到的軟體工程概念。軟體開發是高密度的智力密集型勞動，需要頂尖的工程師團隊和科學的管理模式，這意味著這個商業模式的成本結構以產品研發的高成本投入為核心要素。
大量研發投入的前置導致了軟體業的風險基數，但是比起研發失敗來說，更大的風險是研發成功了，市場打開了，產品創新空間也見底了，即產品的進一步研發投入不再能夠形成進一步的市場競爭力，行業快速進入內卷狀態。
投資要看賽道，產品創業更是如此，對具體的一家公司來說，研發人力成本的投資才是最大的投資。可是選擇產品創新的賽道是玄學，一方面需要對技術路線和發展趨勢的深度把握，另一方面需要對市場客戶階段性需求和進化速度的精準拿捏。前者做到已經很難，後者則是難上加難。一個市場可以長出什麼公司不是一個技術問題，是一個生態問題，因此每一個產品創新的公司都值得尊重，他們主動承擔了巨大的不確定性風險，投入密集的智慧和勞動並甘願充當基礎機率的因子，因為這就是推動整個產業進步必須付出的代價。
HENGSHI SENSE 4.1 創新概覽
Location, location, location
能夠構建生態的平臺型公司，不是由資本力量和技術力量決定的，而是由位置決定的，能夠影響位置的主要因子是時間，因此和位置相關的戰略只有兩種，一種是先發制人，一種是列出不為清單，然後長期專注。
BI 和分析平臺市場走到現在，客戶的需求在全行業爆發，高價值的場景在越來越明確的湧現，市場整體正在不可逆的從早期創新市場走向大眾受益市場。對於身處這個行業的技術公司來說，迎來的是在確定性方面大大增強的時間視窗，這對於前面提到的研發投入風險來說是大利好，也就是說在這個領域選擇創業的系統性風險在大大降低。
由於資料的獲取渠道更加廣泛，資料的種類和格式增多，資料應用的場景也增多，有兩類垂直廠商在快速崛起，構成資料生態中的重要部分。一類是基礎平臺廠商，他們專心解決某一類計算層面問題，比如實時分析，比如高併發資料服務，比如大規模的平行計算，比如可伸縮的雲端計算平臺；另一類則是資料分析的場景解決方案公司，比如財稅分析、電商分析、廣告投放分析、使用者行為分析等，這些廠商的方案直接面向業務部門提供，面向具體部門 KPI 提供決策依據，效果明顯且直接。
這兩個層面是近年來圍繞資料形成的生態中的兩個大層，衡石的產品則在這兩層中間充當了一個解耦的角色。圍繞第一個層面開展工作的團隊，必須要在一個計算場景下做到極致，圍繞第二個層面開展工作的團隊，則必須要對某一個垂直領域的know-how管理經驗理解到極致，非常難兩者兼備。衡石定位為資料分析基礎設施，目標是對下遮蔽掉所有的資料平臺多源異構複雜性，收斂為從業務視角的核心功能需求，以服務能力平臺的 PaaS 形態提供給解決方案廠商一個乾淨的資料能力呼叫層。
分層是工程師面對複雜性的習慣動作，資料分析的 PaaS 層能力讓高價值的資料分析業務場景無需從頭研發，得以敏捷搭建並持續進化。畢竟，我們看到市場上優秀的分析解決方案公司，最大問題在於他們無法靈活拓展的隨需應變。衡石對位解決了這個問題，讓資料平臺的技術創新不再成為搭建分析場景的桎梏，幫助每一個垂直領域的 ISV，包括 CRM、ERP、CDP、MA、CEM、MES、OA、HCM等各種垂直應用廠商，轉型為自己領域的高價值資料分析解決方案提供商。
虛擬數倉
資料倉庫建設原本是在物理層面要求資料彙集到一起，隨著大資料時代的到來，計算被傳輸的成本已經大大低於資料被傳輸的成本，反倒是各種資料存算平臺變成了最適合儲存各種專題資料的介質。在這樣的演進下，物理的數倉/資料
湖
都在退化，資料統一管理的要求更多是在虛擬層面發生，資料倉庫/資料湖都在更多演化為邏輯概念。
在這樣的架構下，分析邏輯或者業務計算邏輯，可以更輕量
的
被管理，和資料相關的任務明確劃分開。建模能力迅速成為現代化企業資料架構中繞不開的環節，因為這裡的能力孱弱，則意味著大量的分析工作需要預先定義後提前發生在具體的資料平臺端；這裡的能力強悍，意味著具體計算的拖延執行，系統會自動搞定計算的實時翻譯執行，分析人員則專注於商業邏輯本身，隨時調整和實驗。現代化的分析架構是以 ELT 為基礎的，原因就在這裡，T才是和業務邏輯相關的，是計算密集型工作，E和L都是資料相關的，是I/O密集型工作，因此最佳實踐是資料管道加分析指標管理的方式，近年來從全球技術創新看，雲端的最佳分析架構無疑是 Fivetran + Snowflake + Looker/dbt的方式。
衡石在ELT的基礎上進一步創新，透過建模語義層增強了業務計算邏輯的表達能力，形成了指標體系管理層的強大能力，更加面向業務人員，真正讓業務用起來，這是和市場上其他所有 BI 工具廠商最大的差別。同時衡石針對國內資料服務生態的實際現狀，直接提供了內建的湖倉一體化管理能力，適配整合各種現有資料平臺來提供資料湖能力，這其實也是在國內雲市場還沒有成熟的Snowflake類似廠商出現的應對之策。
HENGSHI SENSE 4.1 亮點功能一覽
HENGSHI
SENSE 釋出 4。1版本。 在 BI 工具中臺化的趨勢下大幅提升了企業級管控能力，也在湖倉一體的架構下更加強化了關聯分析前的準備工作。除此之外，儀表盤製作、應用設定、視覺化提升、資料管理、資料整合、資料連線等方面增加了很多亮點功能。下面讓我們一起來了解這些新功能：
資料管理
資料整合
資料連線
許可權管理
儀表盤製作
應用設定
控制元件功能提升
系統設定
資料管理
資料繼承
資料集市承載了組織內的公共基礎資料，為不同的業務分析需求提供基礎分析資料，因此資料集市中資料一般不會為某個具體的分析場景做定製，它的用途是比較通用的。
而業務分析往往是針對具體場景進行的，其資料、模型、引數、指標都是有針對性的，這就需要對基礎資料進行加工處理。因此，此次更新中資料集市增加了繼承功能，允許分析師在應用創作時繼承資料，根據業務場景對資料模型進行擴充套件，使其符合業務分析報表的需求。
應用透過繼承資料包，不僅可以將資料包中的資料集，資料模型原樣使用，而且可以透過新增欄位，新增指標，新增資料集，擴充套件關聯模型等方式，利用現有資料做針對性的擴充套件，滿足自助分析下靈活多變的需求。而資料管理員透過統一管理資料包的繼承許可權，可以保持中心化高度一致性的基礎資料。資料繼承的功能包括：
繼承內容包括資料集、資料模型、引數、資料許可權。
繼承的資料集支援新建欄位、指標、引數、資料模型。
資料
繼承
在應用創作中申請，在資料集市中審批。
資料模型生效機制
資料模型新增生效機制設定，生效機制可設定為按需關聯或始終關聯，滿足了更多建模場景，預設情況下為按需關聯。 4。1 之前所有關聯模型都使用按需關聯，表示只使用模型表時關聯關係不生效，只有使用到擴充套件表時關聯關係才會生效。
4。1 增加了始終關聯，表示關聯關係始終生效，與是否使用擴充套件表無關。 始終關聯滿足了模型表與擴充套件表強關聯的資料分析場景。如果資料模型建立時某一個關係設定為始終關聯，則資料建模路徑上的關係都為始終關聯。
引數支援多選
4。1 引數增設多選功能，開啟後引數可以設定多個選項，增強了引數功能，使其滿足更多複雜引數場景的需求。引數僅在允許值為列表時支援多選功能，其他場景不支援。 引數一旦開啟多選，所有使用引數的場景中都支援引數多選。
豐富資料集型別
4。1 版本新增資料集型別，支援使用者對已有資料集進行行轉列和列轉行操作，並儲存為新的資料集，使用者直接使用轉換結果進行分析，提升了圖表分析效率。
資料整合
ELT 新型處理模式和批流一體的資料管道是目前資料分析場景中的重要趨勢。HENGSHI SENSE 4。1 為多源異構資料增強了非同步加工和實時同步的處理能力，滿足不同業務場景需求，實現資料高效流通，提升資料應用效率。
流式同步
許多客戶對資料分析具有時效性要求，批次同步最快可以做到小時或者分鐘級別的資料更新時效，在很多情況下使用者的需求需要更加快速的資料更新頻率。4。1 新增流式同步功能，對來源資料進行實時監控，獲取資料來源動態資訊，當監測到資料來源變化時，將來源資料同步到目標資料倉庫中，保障業務資料實時性，提升業務資料需求響應效率。
目標連線資料來源支援 Greenplum、 PostgreSQL。
資料schema變動時，支援忽略變動繼續同步，或者觸發全量更新來跟隨資料結構的變化。
轉換節點輸入
資料整合專案增加對轉換節點輸入個數判斷，當輸入個數超過上限時，連線不成功並提示使用者節點的輸入個數已達上限。
聯合節點：支援2個輸入。
合併節點：輸入無限制。
其他轉換節點：支援1個輸入。
資料連線
HENGSHI
SENSE 4。1 增強 SaaS API 資料來源接入能力。新增內建資料來源，擴充套件資料來源種類。同時重新定義了資料來源接入規範，只需按照規範編寫 Groovy 指令碼就可載入新的資料來源，無需編譯程式碼，整個過程簡單易操作，提升了資料來源接入效率。
支援 Amazon S3 資料來源
資料連線透過 SaaS API 實現
Amazon
S3 資料來源接入，豐富了資料來源型別。
外掛式的 API 資料來源接入規範
4。0 版本自定義 API 資料來源時需要修改原始碼，重新編譯，而程式碼內部結構複雜，依賴較多，全程需要衡石工程師協助，使用者實現起來較為複雜。4。1 版本重新定義 API 資料來源接入規範，使用者僅需在 Groovy 指令碼中按照規範編寫函式，並透過環境變數
EXT_API_PATH 指定指令碼位置
，然後重啟裝置，
指令碼中定義的資料來源會自動載入到系統中
。
資料來源接入規範比較簡單，只需實現下面四個函式。
getAPIName ： 用來獲取 API 名稱。
setOptions：用來處理認證鑑權相關配置資訊。
fetchPathTables：使用者獲取資料來源目錄結構。
fetchTableData ： 用於獲取table節點資料。
許可權管理
資料列許可權
4。1 增加列許可權，與行許可權一起控制資料可見性，更好地保護資料安全性。列許可權支援對不同使用者設定列欄位檢視許可權。當欄位設定列許可權後，設定的使用者不可見這些欄位，相應的欄位資訊顯示為NULL。
欄位設定列許可權不影響建模、作圖等正常分析工作。當有多條列規則時，規則之間取並集。
資料連線許可權下發
資料連線增加了許可權管理功能，可對連線設定管理者，由管理者對其部門使用者進行連線使用設定，實現了資料連線許可權下發，連線使用上更靈活。 連線管理者只能對連線進行許可權控制，不能編輯和刪除連線。
租戶使用資料連線
資料連線增加授權給租戶功能後，平臺方可以將資料連線授權給租戶，使租戶基於資料連線進行進行自助分析，擴充套件了租戶使用場景。平臺方僅支援以只讀訪問的方式將資料連線授權給租戶。
應用行許可權控制
最佳化應用中資料行許可權控制功能，在簡單過濾基礎上增加表示式過濾， 可以對更多的場景進行控制。
資料服務
增加 API 按次數授權
新增 API 授權方式，在按時間授權方式基礎上增加按次數授權方式，使用者可以更加靈活的分配 API 資源以適配不同的需求場景。 按次數授權使用者支援自定義 API 呼叫次數，也可以配置為無限次呼叫。
增加 API 引數
API 新增 needTotalHits 引數用於記錄請求資料的總行數。此外，還支援將資料來源中的引數作為 API 的請求引數，傳遞資訊， 這種場景僅適用聚合 API 和明細 API。
儀表盤製作
圖層使儀表盤更精美
4。1之前儀表盤沒有圖層概念，多圖重疊需要透過拼合的方式實現，拼合控制元件的尺寸需要嚴格計算，才能達到理想的效果，操作較繁瑣。4。1 儀表盤增加了圖層，多圖重疊可透過圖層一張張疊放來實現
控制元件相互巢狀的合成效果
，操作簡單方便。圖層功能使儀表盤在展示分析資料的同時展示樣式更加美觀、更加多樣化，大大提升了使用者體驗。
圖層支援調整排列關係、對齊方式、分佈方式。
圖層支援快速定位。
固定尺寸適配更多展示終端
自適應頁面模式以網格數來適配不同尺寸展示器，滿足大部分展示場景的同時，在一些固定尺寸的顯示器上顯示效果欠佳。4。1 增加固定尺寸頁面模式，以畫素為基礎展示儀表盤，彌補了自適應頁面的不足，適配更多的展示終端。
預設多種頁面尺寸選項，方便使用者選擇，同時支援使用者自定義。
提供了畫布縮放、顯示全部輔助功能，方便使用者檢視。
支援設定頁面在嵌入場景下的展示模式包括不縮放、全部內容、充滿螢幕。
支援與自適應頁面模式相互切換。
形象直觀的主題卡片
4。1 之前主題卡片僅用三個主色及主題背景來展示，比較抽象，不能準確表達出使用主題後儀表盤的展現樣式。4。1 對此進行了最佳化，主題卡片上呈現了主要圖表在該主題下的縮圖，形象直觀，使用者透過主題卡能預知儀表盤展現樣式，可快速選出符合預期的主題。
增設全部主題、預設、我的、其他四個頁籤，對主題進行分類管理。
增加許可權管理，僅建立者或管理員可以修改、刪除、重新命名主題，其他使用者只有使用許可權。
支援租戶自定義主題，僅租戶內部可見，平臺方和其他租戶不可見。
儀表盤實現控制元件多選
4。1 之前儀表盤調整佈局時每次只能選中一個控制元件進行操作，效率較低。4。1 新增控制元件多選功能，實現多控制元件統一調整，如多控制元件整體移動、排列、對齊等，大大提升了儀表盤製作效率。
應用設定
應用展示裝置
4。1 之前應用無法區分展示裝置，應用的編輯介面都會包含PC端和移動端。使用單一展示裝置的使用者要面對兩個頁面，操作上帶來了很多不變。4。1 應用支援設定展示裝置，並
按照配置呈現相應裝置的編輯頁面，更符合使用者使用場景及操作習慣。
應用編輯過程中可隨時修改配置。
應用卡片上呈現相應的裝置。
查詢應用僅支援在PC端展示。
應用指標預警
4。1 新增應用指標預警功能，用於監控應用中圖表的指標，當指標達到閾值條件時通知使用者，讓使用者及時感知業務指標變化情況，調整業務策略。指標預警支援設定多條預警， 每條預警可自定義檢測時間及預警頻率。預警可透過郵件和Webhook兩種方式通知使用者。目前該功能暫時不對
應用集市和租戶場景開放。
增加應用全屏輪播設定
4。1 對應用全屏輪播功能進行最佳化。在應用設定中增加全屏輪播設定規則，使應用進入全屏後自動根據設定規則輪播，解決了輪播設定僅當次生效，退出全屏後再次進入需要重新設定的問題。
應用自定義圖表資料快取週期
4。1 之前整個系統所有應用統一設定圖表資料快取週期，但是由於不同應用資料更新需求也不一樣，導致有些應用資料更新慢，有些應用更新快，無法兼顧。4。1 新增應用圖表資料快取配置，每個應用可以根據業務場景單獨設定，不受系統設定的影響，更加靈活方便。應用未配置時仍按照系統配置進行更新。
應用多版本管理
某些應用釋出後，依舊會不停的更新內容釋出新的版本，所以一個應用可能會發布很多版本。新版本覆蓋了舊版本內容，使用者無法檢視歷史上某個釋出版本的內容。4。1
新增應用版本管理功能，應用釋出時儲存了版本資料及相關分析內容。當需要回歸到某個歷史版本時，可以在應用管理中找到該版本，一鍵還原，快速方便。應用版本管理功能暫時不對
租戶場景開放。
版本管理保留了儀表盤、資料集、資料模型、引數、翻頁器等與資料分析相關內容，與許可權設定相關內容不儲存。
為了避免佔用大量記憶體空間，目前僅支援保留應用最近釋出的3個版本相關資訊。
釋出態應用快速編輯
應用集市中的應用需要更新或修改內容時，需要返回到應用創作中找到原始應用進行修改，使用者操作路徑比較長。 4。1 在釋出態應用中增加去編輯按鈕，透過該按鈕可快速跳轉到編輯態的應用，操作方便，節省使用者時間。
該功能受創作區應用許可權控制，無許可權的使用者跳轉時提示許可權不足。
平臺方授權給租戶方的應用無該選項。
僅擁有資料檢視角色的使用者，其應用集市中的應用無該選項。
控制元件功能提升
豐富 KPI 展示樣式
4。1 之前 KPI 的主副指標僅支援上下展示，多指標 KPI 無法達到理想展示效果，往往需要建立多個 KPI 圖表並藉助容器來實現理想的佈局。4。1 對 KPI 進行了最佳化。整體佈局上支援主副指標上下、左右排列展示，區域性展示上支援在主、副指標內調整展示樣式，豐富了 KPI 展示樣式，大大提升了多指標 KPI 製作效率。
表格增加條件格式場景
表格的條件格式是對符合條件的單元格的背景和文字進行顏色設定，將重要資訊突出展示。 4。1 對條件格式進行增強，增加了最大/最小、邏輯規則，使其能夠支援更多的場景，擴大了條件格式使用範圍。
最大/最小規則：按依據欄位的最大、最小值進行條件設定。
規則：是對依據欄位進行>、
≥ 、 < 、 ≤ 、 = 、！= 、包含、不包含、介於、不介於、空值、NULL等邏輯判斷進行條件設定。
多條規則時按照由上到下的順序依次執行。
表格匯出資料樣式
表格在進行資料分析展示時，一般會使用條件格式等功能設定單元格展示樣式，突出重點資訊，使用者希望匯出資料時能保留這些樣式。4。1 增加了保留單元格樣式功能，同時支援明文匯出脫敏資料，資料匯出實現了所見即所得。
最佳化表格鎖定功能
表格最佳化維度列鎖定功能，之前該功能只能鎖定全部維度列，不夠靈活，特別是在移動端開啟時，當維度列過多，鎖定所有維度可能會導致左右滾動無法查看錶格右側度量資訊。 4。1 進行了最佳化，使用者可根據需要鎖定維度列中的前N個，使用場景更加靈活。
按鈕支援匯出圖表
按鈕控制元件匯出事件支援匯出應用和儀表盤的相關內容。4。1 版本在此基礎上增加了匯出圖表。透過按鈕可以匯出圖表的資料、PNG 和 PDF 。
度量維度增加排序方式
原有度量維度排序方式比較單一，而且針對不同欄位型別排序方式不同。4。1 對度量欄位對比維度排序進行統一設定，並增加了指定排序、圖內度量排序等排列方式，豐富了圖表資料排序樣式。該功能僅適用有度量維度的表格和組合圖表。
自定義圖表排序級別
表格排序時主維度先進行排序，次維度在主維度的基礎上進行排序，所以表格排序與維度順序有關。當用戶想改變表格排序又不想改變維度順序時，可以透過開啟自定義排序級別來實現。自定義排序級按照自定義的維度順序進行表格排序，不影響表格原有維度展示。該功能
適用表格、組合圖表、桑基圖。
合併專案排序最佳化
合併專案建立後預設參與圖表排序功能，但是某些場景下合併專案參與排序會對其他專案分析有影響。4。1 中增加了配置項，使用者根據業務場景配置合併專案是否參與排序，使用更加靈活。
增加圖表只讀態排序設定
圖表在釋出、預覽、嵌入等只讀狀態下保留了排序功能，允許檢視者根據自己的需求對圖表重新排序，展示不同維度的排序資訊。 某些場景下，應用創作者想展示固定排序內容，不希望檢視者改變圖表排序方式。這種情況下，4。1 對該功能進行了最佳化，增加了只讀態排序配置項。應用創作者可以設定檢視者是否可以對圖表重新排序。此外，該配置項還支援對只讀態下的資料集表格、表格、交叉表設定可以切換順序的欄位。
過濾器最佳化
過濾器在多方面最佳化，使其更貼合用戶使用習慣，最佳化內容包括：
過濾器預設情況修改為無選項，不選中任何選項。
過濾器設定聯動過濾圖表時支援搜尋和全選，能夠快速精準定位圖表。
文字搜尋框模糊搜尋時區分大小寫。
同環比功能增強
同環比計算設定了對比時間，當日期過濾器篩選時間發生變化時，同環比中的時間不會同步更新，所以無法獲取資料進行計算。 針對上述情況，4。1 在同環比計算中增加了跟隨時間欄位選項，設定該選項後，同環比的時間隨日期過濾器而動態設定，可以實時計算。
系統設定
個人中心改版
4。1 對個人中心下拉選單進行最佳化，結構更加清晰，各部分功能描述更準確。
賬號設定更名個人中心。
系統訊息更名訊息中心。
關於更名版本資訊。
登出更名退出賬號。
資料隱私保護增強
完善匯出資料功能。原有匯出資料開啟後，系統內所有使用者都可以匯出資料。4。1 增加了使用者設定，只有設定的使用者才能匯出資料，更好的保護資料安全。
結束語
荷風送香氣，竹露滴清響。
HENGSHI
SENSE 4。1 如約而來，精美的儀表盤製作、完善的資料管理、批流一體的資料準備、快速的資料來源接入，讓資料分析之路更加流暢。 每個功能都如夏日涼風給您帶來清爽之感，歡迎來體驗。
孟夏草木長，繞屋樹扶疏。
HENGSHI
SENSE 4。2 汲取衡石人的智慧做養料，努力向陽生長，為打造核心能力平臺、賦能合作伙伴快速搭建高價值的分析場景奮鬥。感謝您持續關注衡石！