Tạo trang web miễn phí eraweb

Chào mừng bạn đến với Eraweb!

BẠN CÓ THỰC SỰ HIỂU VỀ BIG DATA?

BIG DATA LÀ GÌ?

Dữ liệu lớn (Big data) được định nghĩa khái quát là sự thu thập, quản lý và phân tích dữ liệu, những việc đó đã vượt xa dữ liệu cấu trúc tiêu biểu (typical), nó có thể được truy vấn với hệ thống quản lý dữ liệu quan hệ — thường với những tệp phi cấu trúc (unstructured files), video kỹ thuật số, hình ảnh, dữ liệu cảm biến, tệp lưu nhật ký, thực sự bất cứ dữ liệu nào không có trong hồ sơ với các phạm vi tìm kiếm khác. Trong một số ý nghĩa, dữ liệu phi cấu trúc là dữ liệu thú vị, nhưng nó khó tổng hợp vào BI (Business Intelligence) hoặc rút trích ra những kết luận từ nó trừ khi nó có thể tương quan với dữ liệu có cấu trúc.

Dữ liệu lớn cũng có những nguồn mới, như trong máy tính (vd: các file log nhật ký hay mạng cảm biến), trong thiết bị di động (video, hình ảnh, tin nhắn), và trong các thiết bị máy móc kết nối với nhau (vd như xe, máy bay hoặc các thiết bị giám sát từ xa) nhằm mục đích lên kế hoạch bảo trì kịp thời. Có một cách để làm được việc này là dựa vào đặc tính volume (khối lượng). IBM ước lượng, có 2.5 nhân 10 mũ 18 bytes (2,500,000,000,000,000,000) dữ liệu được tạo ra mỗi ngày.


Các đặc trưng cơ bản của big data

1. Volume (Số lượng lưu trữ): Big Data “dữ liệu lớn” là tập hợp dữ liệu có dung lượng lưu trữ vượt mức đảm đương của những ứng dụng và công cụ truyền thống. Kích cỡ của Big Data đang từng ngày tăng lên, và tính đến năm 2012 thì nó có thể nằm trong khoảng vài chục terabyte cho đến nhiều petabyte (1 petabyte = 1024 terabyte) chỉ cho một tập hợp dữ liệu mà thôi.

2. Velocity (Tốc độ xử lý):  Dung lượng gia tăng của dữ liệu rất nhanh và tốc độ xử lý đang tiến tới real-time. Các ứng dụng phổ biến trên lĩnh vực Internet, Tài chính, Ngân hàng, Hàng không, Quân sự, Y tế – Sức khỏe ngày hôm nay phần lớn dữ liệu lớn đc xử lý real-time. Công nghệ xử lý dữ liệu lớn ngày một tiên tiến cho phép chúng ta xử lý tức thì trước khi chúng được lưu trữ vào cơ sở dữ liệu.

3. Variety (Đa dạng chủng loại):  Hình thức lưu trữ và chủng loại dữ liệu ngày một đa dạng hơn. Trước đây chúng ta hay nói đến dữ liệu có cấu trúc thì ngày nay hơn 80% dữ liệu trên thế giới được sinh ra là phi cấu trúc (tài liệu, blog, hình ảnh, video, voice v.v.). 

4. Veracity (Độ chính xác): Một trong những tính chất phức tạp nhất của BigData là độ chính xác của dữ liệu. Với xu hướng Social Media và Social Network ngày nay và sự gia tăng mạnh mẽ tính tương tác và chia sẻ của người dùng Mobile làm cho bức tranh xác định về độ tin cậy & chính xác của dữ liệu ngày một khó khăn hơn. 

5. Value (Giá trị thông tin): Giá trị thông tin là tính chất quan trọng nhất của xu hướng công nghệ Big Data. Ở đây doanh nghiệp phải hoạch định được những giá trị thông tin hữu ích của BigData cho vấn đề, bài toán hoặc mô hình hoạt động kinh doanh của mình. Có thể nói việc đầu tiên là phải xác định được tính chất “Value” thì mới nên bắt tay vào BigData.


Dữ liệu lớn khác với dữ liệu truyền thống ở 4 điểm cơ bản 

1. Dữ liệu đa dạng: lưu trữ dữ liệu lớn hơn; truy vấn nhanh hơn; độ chính xác cao hơn. Dữ liệu đa dạng hơn: Khi khai thác dữ liệu truyền thống (Dữ liệu có cấu trúc), chúng ta thường phải trả lời các câu hỏi: Dữ liệu lấy ra kiểu gì? định dạng dữ liệu như thế nào? Đối với dữ liệu lớn, không phải trả lời các câu hỏi trên

2. Lưu trữ dữ liệu lớn hơn: Lưu trữ dữ liệu truyền thống vô cùng phức tạp và luôn đặt ra câu hỏi lưu như thế nào? dung lượng kho lưu trữ bao nhiêu là đủ? gắn kèm với câu hỏi đó là chi phí đầu tư tương ứng. Công nghệ lưu trữ dữ liệu lớn hiện nay đã phần nào có thể giải quyết được vấn đề trên nhờ những công nghệ lưu trữ đám mây, phân phối lưu trữ dữ liệu phân tán và có thể kết hợp các dữ liệu phân tán lại với nhau một cách chính xác và xử lý nhanh trong thời gian thực. 

3. Truy vấn dữ liệu nhanh hơn: Dữ liệu lớn được cập nhật liên tục, trong khi đó kho dữ liệu truyền thống thì lâu lâu mới được cập nhật và trong tình trạng không theo dõi thường xuyên gây ra tình trạng lỗi cấu trúc truy vấn dẫn đến không tìm kiếm được thông tin đáp ứng theo yêu cầu. 

4. Độ chính xác cao hơn: Dữ liệu lớn khi đưa vào sử dụng thường được kiểm định lại dữ liệu với những điều kiện chặt chẽ, số lượng thông tin được kiểm tra thông thường rất lớn, và đảm bảo về nguồn lấy dữ liệu không có sự tác động của con người vào thay đổi số liệu thu thập. 


KHÍA CẠNH KỸ THUẬT CỦA BIG DATA

Luồng dữ liệu Big Data

Hệ thống Big Data thường lớn và phức tạp , nó cung cấp các chức năng để xử lý Big Data từ lúc hình thành đến lúc kết thúc . Thường luồng dữ liệu trong Big Data  được phân làm 4 giai đoạn : Nguồn tạo dữ liệu , thu thập dữ liệu , lưu trữ dữ liệu và phân tích dữ liệu . 


bản đồ công nghệ big data theo luồn dữ liệu (2)Bản đồ công nghệ của Big Data theo luồng dữ liệu


Big data and Analyst

Điều thực sự mang lại giá trị từ các tổ chức dữ liệu lớn là phân tích dữ liệu. Nếu không có phân tích, nó chỉ là một tập dữ liệu với việc sử dụng hạn chế trong kinh doanh.

Phân tích dữ liệu liên quan đến việc kiểm tra bộ dữ liệu để thu thập thông tin chi tiết hoặc rút ra kết luận về những gì chúng chứa, chẳng hạn như các xu hướng và dự đoán về hoạt động trong tương lai.

Bằng cách phân tích dữ liệu, các tổ chức có thể đưa ra các quyết định kinh doanh tốt hơn như khi nào và ở đâu nên chạy chiến dịch tiếp thị hoặc giới thiệu một sản phẩm hoặc dịch vụ mới.

Sự phân tích có thể tham khảo các ứng dụng kinh doanh thông minh hay tiên tiến hơn, phép phân tích dự đoán như ứng dụng được các tổ chức khoa học sử dụng. 

Phân tích dữ liệu có thể bao gồm phân tích dữ liệu thăm dò để xác định các mẫu và mối quan hệ trong dữ liệu và phân tích dữ liệu xác nhận áp dụng các kĩ thuật thống kê để tìm ra giả thiết về một bộ dữ liệu có đúng hay không. 


BỨC TRANH TỔNG THỂ ỨNG DỤNG DỮ LIỆU LỚN

Ứng dụng

1. Hoạt động chính phủ

Việc sử dụng các dữ liệu lớn trong các quy trình của chính phủ cho phép tăng hiệu quả về mặt chi phí, năng suất và sự đổi mới, nhưng không phải là không có sai sót của nó.

Chính phủ điện tử là Chính phủ ứng dụng công nghệ thông tin nhằm nâng cao hiệu lực, hiệu quả hoạt động của cơ quan nhà nước, tăng cường công khai, minh bạch thông tin, cung cấp dịch vụ công tốt hơn cho người dân và doanh nghiệp.

Việc triển khai dữ liệu lớn trong công nghệ thông tin và truyền thông có khả năng chuyển đổi các giao dịch chính phủ điện tử với giá trị gia tăng cho các dịch vụ công và có khả năng hỗ trợ các cải tiến số cho chính phủ điện tử.

Một số lợi ích của việc có dữ liệu lớn trong Chính phủ điện tử bao gồm: cung cấp và tích hợp hiệu quả tài nguyên của dữ liệu lớn; tích hợp dữ liệu có giá trị trong Chính phủ điện tử với các quy trình ra quyết định; khả năng tạo ra dữ liệu nhanh hơn; tăng dung lượng lưu trữ; tính khả dụng của các loại dữ liệu khác nhau; nâng cao chất lượng cuộc sống; kiểm soát việc sử dụng tài nguyên Chính phủ điện tử hiệu quả; tăng hiệu quả xử lý giao dịch; tăng mức độ minh bạch.

2. Giao thông

Sử dụng số liệu CDR trong quá khử để ước lượng các dòng giao thông trong thành phố vào các giờ cao điểm, từ đó có những kế hoạch phân luồng giao thông chi tiết, hợp lí giúp giảm thiểu kẹt . Ngoài ra dữ liệu lớn còn giúp phân tích định vị người dùng thiết bị di động, ghi nhận chi tiết cuộc gọi trong thời gian thực; và giảm thiểu tình trạng ùn tắc giao thông.

Hệ thống Eco DataM được phát triển trên nền tảng Big Data, Ai, iOT, Blockchain, Fintech nhằm hướng đến giúp người dung thay đổi hành vi, mỗi phút giây sống có thêm nhiều hành động đẹp, làm việc tốt lành, tạo nên những giá trị tích cực, tốt đẹp cho cộng đồng xã hội, đặc biết là chống biến đổi khí hậu, giảm thiểu lượng khí thải Co, co2, Nox, carbon thì sẽ được thưởng.

3. Y tế

Tiềm năng lớn nhất của Big Data đối với y học chính là là khả năng áp dụng vào quá trình phân tích gen, giúp phân tích trình tự bộ gen người trong một vài giờ, thay vì tới hàng tuần như trước kia.

Mảnh ghép hoàn hảo

Steve Jobs, bị ung thư tuyến tuỵ, là một trong những bệnh nhân được tiếp cận dữ liệu Big Data để theo dõi hiệu quả điều trị các phác đồ điều trị ung thư và việc thay đổi liên tục phác đồ giúp duy trì sự sống cho ông thêm một thời gian tương đối.

 

                  http://genknews.genkcdn.vn/k:thumb_w/640/2015/stevejobs1-1435555775245/big-data-vu-khi-cong-nghe-huu-hieu-chong-lai-benh-tat-cua-loai-nguoi.jpg

Siêu máy tính IBM Watson được coi như là những nét cơ bản của bức tranh toàn cảnh nền Y học hiện đại trong tương lai và Big Data chính là miếng ghép hoàn hảo để hoàn thành bức trang này. Hãy chờ xem bộ đôi IBM Watson và Big Data sẽ thay đổi thế giới như thế nào và sẽ có bao nhiêu Steve Jobs của tương lai được cứu sống.

4. Sản xuất:

Phân tích Big Data đang mở ra một thế giới hoàn toàn mới cho các nhà sản xuất. Hơn nữa, Big Data đã trở thành một phần quan trọng của hệ thống ERP với khả năng liên kết tất cả dữ liệu với con người và các quy trình.

Phần mềm ERP sản xuất được phát triển dành riêng cho lĩnh vực sản xuất nên được trang bị các tính năng thiết thực hơn, phù hợp đặc thù sản xuất hơn và giảm yêu cầu tùy chỉnh. Điều này đồng nghĩa rằng phần mềm sẽ xử lý nhanh hơn, quá trình hoạt động và duy trì tiết kiệm chi phí hơn. 

Chức năng quản trị sản xuất của phần mềm ERP tương thích với mọi mô hình sản xuất hiện đại như:

  • Thiết kế theo đơn hàng ( ETO)
  • Sản xuất theo đơn hàng ( MTO)
  • Lắp ráp theo đơn hàng ( ATO)
  • Sản xuất theo dự đoán ( MTS) 

5. Mạng lưới vạn vật kết nối internet ( IOT): 

Dữ liệu lớn có thể kết hợp với công nghệ Mạng lưới vạn vật kết nối Internet. Dữ liệu được chiết xuất từ ​​các thiết bị IoT cung cấp một bản đồ kết nối giữa các thiết bị. Những sự kết nối này đã được ngành công nghiệp truyền thông, các công ty và chính phủ sử dụng để nhắm mục tiêu chính xác hơn đối tượng của họ và tăng hiệu quả của phương tiện truyền thông. 

Trong “thời kỳ IoT”, một trong những thay đổi quan trọng hàng đầu là cuộc cách mạng công nghiệp (CMCN) lần thứ tư (4.0). CMCN 4.0 đang và sẽ có tác động quan trọng đối với tất cả các nền kinh tế. 

Trong cuộc CMCN 4.0, thông qua các cảm biến được kết nối internet, các thiết bị và một phần hay toàn thể dây chuyền sản xuất ở một nhà máy tại một địa điểm, hay nhiều địa điểm trên toàn cầu của một hay nhiều công ty đều được kết nối với nhau. Mỗi món hàng sẽ có địa chỉ để được nhận dạng thông qua internet.

6. Thể thao

⦁ Công nghệ đeo trên người và thống kê sinh học

Dữ liệu để phân tích trong trận đấu không chỉ đến từ video. Ví dụ những cảm biến mà cầu thủ mang trên người có thể giúp các huấn luyện viên biết được khả năng của vận động viên ấy tốt hơn so với dựa trên chỉ số tập luyện. . Dữ liệu này cũng giúp bảo vệ cầu thủ khỏi các chấn thương.

⦁ Bắt hình chuyển động

Công nghệ bắt hình chuyển động đã có từ lâu nhưng gần đây mới được ngành thể thao chú ý nhiều hơn, để ghi hình vận động viên di chuyển như thế nào. Dữ liệu này còn có thể dùng để tạo ra game video dựa trên cách vận động viên di chuyển. 

⦁ Phát hình

Dữ liệu và phân tích dữ liệu đã từ lâu là trọng tâm trong quy trình sản xuất phát hình thể thao, giúp các bình luận viên rất nhiều và giúp nhà đài có được những pha quay chậm, thông số chi tiết trận đấu..., giúp người xem quan tâm hơn.

Phát sóng và phân phối số

Nội dung được phân phối trên nhiều nền tảng khác nhau, tận dụng mạng xã hội và nội dung mà người dùng quan tâm để đưa ra nội dung phù hợp, thay đổi cách thu phí đối với nhà quảng cáo. Nhất là dữ liệu này có thể rất hữu ích đối với những sự kiện thể thao lớn như World Cup 2014, khi mà sự kiện này được phát đến 192 quốc gia và lãnh thổ, với 3,2 tỉ người xem.

7.   Tài chính

Big Data đang có vai trò lớn trong lĩnh vực ngân hàng với các ứng dụng cụ thể như: phân tích, phân loại sự hài lòng và hành vi khách hàng; phân tích phát hiện và cảnh báo, ngăn chặn các hành vi rủi ro, giả mạo; tối ưu hóa hoạt động xử lý dữ liệu trong quá trình vận hành phân tích và hỗ trợ ra quyết định.

Việc sử dụng các dữ liệu lớn dưới dạng lịch sử các giao dịch tài chính được gọi là phân tích kỹ thuật. Sử dụng dữ liệu phi tài chính để dự đoán thị trường đôi khi được gọi là dữ liệu thay thế.


Tương lai của Big Data

4-Vs-of-big-data.jpg

Erik Swan, đồng sáng lập kiêm giám đốc công nghệ của công ty Spunk, dự đoán rằng sự thay đổi nhất trong Big Data chính là thái độ của mọi người đối với nó. Việc tiêu thụ một lượng dữ liệu lớn sẽ dần phổ biến hơn với mọi người, từ những người nông dân cho đến các anh kĩ sư. Mọi người sẽ mặc định sử dụng dữ liệu để phân tích mọi thứ trong vòng 10 năm tới. Tất nhiên là kĩ thuật và công nghệ cũng cần phải phát triển theo thì điều này mới có thể trở thành hiện thực.

Còn theo Ankur Jain, nhà sáng lập và CEO của Humin, ngữ cảnh phát sinh ra dữ liệu sẽ trở nên quan trọng hơn. “Chúng ta sẽ bắt đầu định tuyến dữ liệu vào các đối tượng, sự vật, sự việc trong đời thực và chuyện đó giúp chúng ta xử lí công việc tốt hơn”. 

Giám đốc Swan còn suy nghĩ thêm rằng các công ty chuyên cung cấp giải pháp Big Data sẽ không còn bán dữ liệu và phân tích cho từng doanh nghiệp hay công ty riêng lẻ để phục vụ cho những mục đích quá chuyên biệt. Thay vào đó, họ sẽ mở rộng nó và áp dụng Big Data nhằm giải quyết những vấn đề trong đời thường và trả lời cho các nhu cầu cơ bản của con người. Đó sẽ là sự thay đổi về tính ứng dụng của Big Data.

Trong tương lai, chúng ta sẽ còn tiếp tục chứng kiến sự tăng trưởng của Big Data. Hiện nay có thể bạn cũng đã nghe đến khái niệm Internet of Things, tức là mang Internet đến với mọi thứ trong đời sống hằng ngày. Dữ liệu từ Internet of Things thực chất cũng là được thu thập từ một mạng lưới rất nhiều các cảm biến và thiết bị điện tử, và nó cũng là một trong những nguồn của Big Data. Lượng dữ liệu khổng lồ này có thể cho các nhà nghiên cứu biết được hành vi tiêu dùng của khách hàng, từ đó tinh chỉnh những thiết bị Internet of Things cho phù hợp hơn, bắt chúng phục vụ đời sống hằng ngày của chúng ta một cách hiệu quả hơn. Nó cũng có thể được dùng cho việc sản xuất, từ đó giảm sự liên quan của con người. Như lời của Daniel Kaufman dự đoán thì “con người sẽ làm ít hơn” nhờ Big Data.


Nội dung liên quan

Internet of things là gì?

Thực chất, biểu hiện của Internet of Things (IoT) đã xuất hiện ngay từ thời kỳ sơ khai của Internet, khi đó các nhà phát minh mong muốn kết nối tất

Deep web có thật sự là một cơn ác mộng?

Deep Web tạm được dịch là: Web chìm, mạng chìm, web ẩn hay Invisible Web, Under Net, Hiden Web … là các trang chứa nội dung được dấu đi và

Đừng tạo website nếu không biết những điều dưới đây

Giả sử bạn là một người mới hoàn toàn mới trong lĩnh vực công nghệ web. Trong bài viết này tôi sẽ giúp các bạn có được những mường tượng

Các chương trình quét virus online sẽ là cứu cánh cho máy tính của bạn

Các chương trình quét virus online là công cụ hữu ích hỗ trợ người dùng sớm phát hiện và phòng tránh việc máy tính bị xâm nhập, độc chiếm quyền

Đừng tin vào một dịch vụ nào bảo hành vĩnh viễn

Bạn lướt facebook thấy những lời chào mời thiết kế web rất hấp dẫn như thiết kế theo yêu cầu, giá cực rẻ, bảo hành vĩnh viễn, có thể gặp mặt trực

Cảm xúc của chúng ta đang bị Facebook thao túng

Cùng với thời gian, con người đang ngày càng bị lôi cuốn một cách "mê man" vào những chuẩn mực giá trị xã hội “ảo”  mà Facebook và các dịch

SMAC (Social, Mobilty, Analytics, Cloud)

Như  bạn đã biết SMAC là giao điểm của mạng xã hội, thiết bị di động, phân tích dữ liệu và đám mây, nó là trọng tâm để phát triển về tiếp thị doanh nghiệp

Câu chuyện về những đồng tiền kĩ thuật số (P1)

Ngoài Bitcoin, các đồng tiền kĩ thuật số khác như Ethereum, Zcash hay Monero đang dần khẳng định vị thế của chúng.

Facebook càng phát triển, quyền riêng tư của chúng ta càng bị đe dọa

Mới đây, nhà thiết kế web kiêm lập trình viên người Mỹ Blake Watson đã quyết định bỏ chơi Facebook sau 12 năm sử dụng. Những lý do ông đưa

Những ý tưởng kinh doanh 1 vốn 4 lời trong năm 2017

Trên thế giới có nhiều tỷ phú đã thành công với số vốn ban đầu vô cùng ít ỏi, thậm chí là từ hai bàn tay trắng. Những ý tưởng

Eraweb

Nền tảng xây dựng website và landing page CHUẨN MARKETING

HOTLINE

028 7100 9100

Hỗ trợ qua mạng xã hội Gemsocial

Xem hướng dẫn ⇀⁠⁠⁠⁠⁠⁠⁠

CÔNG TY TNHH CÔNG NGHỆ & TRUYỀN THÔNG ERA

M.S.D.N: 0317299389

Trụ sở chính: 109 Đường số 5, Phường Phước Bình, Thành phố Thủ Đức, Thành phố Hồ Chí Minh

Đại diện pháp luật: Lê Văn

Bản quyền © 2016 - 2022 Eraweb. Tất cả các quyền được bảo lưu.

Eraweb là một sản phẩm được làm với tất cả ❤

Built with Eraweb.